Keberadaan perpustakaan IAIN Jember sejalan dengan perkembangan Institusi IAIN Jember itu sendiri. Pada mulanya dengan sarana dan anggaran yang terbatas, Perpustakaan telah mencoba memberikan pelayanan yang berarti bagi pengembangan keilmuan di IAIN Jember, walaupun seringkali perpustakaan harus mengalami perpindahan beberapa kali karena memang perpustakaan belum memiliki gedung yang permanent; yakni sejak masih bernama Fakultas Tarbiyah Jember IAIN Sunan Ampel (filial IAIN Sunan Ampel Surabaya) yang berada di dekat pusat perbelanjaan kota Jember, Jl. W.R. Supratman No. 1 Jember (didepan Matahari Store). Pada tanggal 06 Juni 1991 Kampus Fakultas Tarbiyah Jember IAIN Sunan Ampel pindah ke Karang Mluwo Mangli - Kaliwates Jember dan perpustakaan menempati ruang yang tidak cukup luas, yang saat ini digunakan Sub-Bagian Administrasi Akademik.
Baru pada tahun 1996, Perpustakaan Fakultas Tarbiyah Jember IAIN Sunan Ampel memiliki gedung perpustakaan permanent seluas 720 m2 yang terdiri dari 2 lantai. Alhamdulillah, perpustakaan pindah lagi ke gedung baru yang lebih presentatif walaupun kurang strategis pada bulan April 2012 dengan luas 1.300 m2 terdiri dari 2 lantai.
Kepala Perpustakaan sejak dari berdirinya sampai sekarang adalah:
- Drs. H. Zainuddin Dja’far (1969 – 1979)
- Dra. Hj. Nur Rodjiah Kurmen (1979 – 1992)
- Drs. H. Ma’ruf Hidayat (1992 – 2006)
- Drs. H. Muchlis (2006 – 2010)
- Drs. H. Abd. Muis, MM (2010 – 2015)
- Dr. H. Moh. Sahlan, M.Ag. (2015 - 2017)
- Alfisyah Nurahayati, M.Si. (2017 – 2019)
- H. Abdul Mu’is, S.Ag.,M.Si. (2019 – 2021)
- Dr. Roni Subhan, S.Pd., M.Pd. (2022 - sekarang)