Masjid ini dibangun pada tahun 1971 dan selesai pada tahun 1980, bangunannya memang hanya seperti sebuah pendopo terbuka dengan banyak tiang penyangga dan satu kubah besar di atasnya. Lokasi Masjid Agung ini berdiri, dulunya merupakan pusat kerajaan Melayu Jambi, bekas istana Tanah Pilih dari Sultan Thaha Syaifuddin.

Pada tahun 1858, Saat terpilih menjadi sultan di Kesultanan Jambi, Sultan Thaha Syaifudin membatalkan semua perjanjian yang dibuat Belanda dengan mendiang ayahandanya, karena perjanjian tersebut sangat merugikan kesultanan Jambi. Saat itu, Balanda sangat marah dan mengancam akan menyerang Istana.

Namun Sultan Thaha justru lebih dulu menyerang pos Belanda di daerah Kumpe. Pasukan Belanda melakukan serangan balasan dan membumi hanguskan komplek Istana Tanah Pilih. Tahun 1906 lokasi bekas istana sultan tersebut dijadikan asrama tentara Belanda yang digunakan sebagai tempat pemerintahan Keresidenan. Di era kemerdekaan sampai tahun 1970an lokasi tersebut masih difungsikan sebagai asrama TNI di Jambi.

Pada awalnya gagasan pembangunan Masjid Agung sudah mengemuka tahun 1960-an oleh pemerintah Jambi, beserta tokoh tokoh Islam Jambi. Namun, proses pembangunan masjid baru dimulai tahun 1971. Para alim ulama dan tokoh tokoh Jambi di antaranya M.O. Bafaddal, H Hanafi, Nurdin Hamzah, dan gubernur saat itu (Tambunan atau Nur Admadibrata ) Sepakat untuk membangun masjid agung di lokasi tersebut dan dan merelokasi asrama TNI. Salah satu alasan kenapa masjid yang dibangun di lokasi bersejarah tersebut adalah mengacu pada lambang Jambi yang terdapat gambar Masjid. Masjid Agung Al-falah kota Jambi diresmikan penggunaannya oleh presiden Soeharto pada tanggal 29 September 1980.

Masjid kebanggaan warga Jambi ini berdiri di atas lahan seluas lebih dari 26.890 M2 atau lebih dari 2,7 Hektar, sedangkan luas bangunan masjid adalah 6.400 M2 dengan ukuran 80m x 80m, dan mampu menampung 10 ribu jamaah sekaligus. Sedari awal bangunan Masjid Agung hingga sekarang tetap dipertahankan sesuai bentuk awalnya. Kalaupun ada renovasi hanya penambahan ukiran pada mihrab imam, tanpa merombak bentuk awal Masjid. dan mengganti pembungkus tiang pada tahun 2008.