Rumah Batu menjadi satu bangunan cukup mencolok di tengah pemukiman penduduk Desa Olak Kemang. Menurut penuturan Syarifah Aulia yang juga pengurus Rumah Batu, rumah yang dijaganya itu merupakan peninggalan seorang penyebar agama Islam di Kota Seberang pada abad ke-18 bernama Sayyid Idrus Hasan Al-Jufri yang dijuluki Pangeran Wiro Kusumo.

Ketika akan membangun rumah tersebut, Sayyid Idrus Hasan Al-Jufri mendapat banyak saran dari sahabat-sahabatnya kala itu. Termasuk dari Datuk Sintai, seorang pedagang dari negeri China. Lewat tangan Datuk Sintai itu lah rumah yang kini jadi cagar budaya kebanggaan Jambi itu berdiri.

Paduan bangunan lokal, China, Arab dan bahkan Eropa terkesan kental pada bangunan tua dua lantai itu. Terlihat relief naga di dinding bercat putih. Kemudian di sisi kanan terdapat sebuah batu berukiran singa dan bunga. Lalu di pilar bagian dalam, tampak relief bertuliskan huruf-huruf Arab.

Sementara dibagian lantai dua memperlihatkan budaya bangunan lokal Jambi dengan bahan kayu. Gaya Eropa terlihat dari tiang penyangga, bentuk teras dan tangga seluruhnya terbuat dari batu.