Secara historis Sekolah Tinggi Agama Islam (STAI) Al-Gazali Soppeng bermula dari Universitas Nahdlatul Ulama (UNNU) di tahun 1960-an. Kemudian menjadi UNIZAL (Universitas Al Gazali) setelah Muktamar di Situbondo 1984 (NU harus kembali ke khittah 1926, berdirinya NU) di bawah naungan Yayasan Perguruan Tinggi Al Gazali Sulawesi Selatan Fakultas Tarbiyah program sarjana muda sampai tahun 1988.
Untuk penyesuaian jenjang Program Pendidikan Strata Satu (S1) serta penataan kembali nama dan unit jurusan status terdaftar pada Perguruan Tinggi Agama Islam Swasta dalam lingkungan Koordinatorat Perguruan Tinggi Agama Islam Swasta Wilayah V dan VIII, maka UNIZAL menjadi Sekolah Tinggi Ilmu Tarbiyah (STIT) Al Gazali Soppeng dengan Jurusan Pendidikan Agama Islam (S1) berdasarkan Keputusan Menteri Agama Republik Indonesia Nomor 61 Tahun 1990.
Pada tahun 1994 STIT Al Gozali Soppeng menambah jurusan sehingga namanya berubah menjadi Sekolah Tinggi Agama Islam (STAI) Al-Gazali Soppeng Jurusan Pendidikan Agama Islam (Tarbiyah) dan Jurusan Peradilan Agama (Syariah) dengan Keputusan Menteri Agama Republik Indonesia No. 464 Tahun 1994. Saat sekarang ini, STAI Al-Gazali Soppeng memiliki 4 (empat) program studi berstrata satu (S1) yaitu Pendidikan Agama Islam (PAI), Pendidikan Guru Madrasah Ibtidaiyah (PGMI), Pendidikan Bahasa Arab (PBA), dan Ekonomi Syariah.