Dengan keadaan yang bergitu padat di Masjid-masjid berhampiran, sekitar tahun 2003-2004 satu mesyuarat cadangan pembinaan Masjid Kolej Universiti Islam Antarabangsa Melaka telah diadakan bersama Y.A.B. Ketua Menteri Melaka Datuk Seri Hj.Mohd Ali Bin Rustam dan pihak Majlis Agama Islam Melaka dengan disaksikan oleh Sahibus Samahah Datuk Wira Hj.Rashid Redza selaku Mufti Kerajaan Negeri Melaka.
Selepas beberapa Mesyuarat diikuti Majlis Pecah Tanah dilaksanakan, akhirnya masjid ini berjaya disiapkan dengan kos RM2.5Juta dengan kapasiti jemaah antara 500-800 orang jemaah di dalam dewan solat pada satu masa. Masjid ini kemudiannya diberikan nama Masjid Al-Ilmi sempena kelahirannya dalam kariah Permatang Ilmi. Solat Jumaat buat pertama kalinya diadakan di Masjid Al-Ilmi ini serentak dengan Perasmian Masjid dan Bangunan Pentadbiran KUIM pada penghujung tahun 2004 yang dihadiri oleh Y.A.B. Datuk Seri Hj.Abdullah Ahmad Badawi Perdana Menteri Malaysia ketika itu.
Sehingga kini, pelbagai usaha sedang giat dijalankan merangkumi aspek pengurusan dan pengimarahan masjid demi memartabatkan Syiar Islam khususnya dikalangan pelajar dan penduduk setempat
VISI
Untuk menjadi sebuah Masjid yang terunggul dan cemerlang dalam konteks Institusi Masjid sama ada peringkat nasional dan nusantara
MISI
Memaksimumkan penggunaan Masjid yang berteraskan prinsip kesyumulan Islam meliputi pembangunan dan pengembangan Dakwah dan Kerohanian, Kemahiran berteknologi serta Keilmuan yang tinggi dalam melahirkan Umat dan Cendekiwan Islam yang berkebolehan di dalam semua lapangan kehidupan bertunjangkan Islam
