Sebelum menggeliat dengan aktivitas keislaman, Masjid Tiban hanya sebuah masjid tua yang telah ditinggalkan. Serbuan Jepang membuat ia ditinggalkan, dan beberapa tahun kemudian, ditemukan kembali oleh kelompok transmigran dari Karanganyar