Secara historis Perpustakaan IAIN Pekalongan, bermula dari Perpustakaan Fakultas Syari'ah IAIN Walisongo di Pekalongan dengan gedung sederhana serta jumlah koleksi dan tenaga pengelola yang terbatas. Seiring dengan perubahan status dari Fakultas Syari'ah IAIN Walisongo di Pekalongan menjadi Sekolah Tinggi Agama Islam Negeri (STAIN) Pekalongan pada tahun 1997, maka perpustakaan Fakultas Syari'ah IAIN Walisongo ikut berubah status menjadi Perpustakaan STAIN Pekalongan. Dan pada tahun 2016, STAIN Pekalongan mengalami perubahan status kembali dari STAIN Pekalongan menjadi IAIN Pekalongan yang ditetapkan melalui Peraturan Presiden No. 73 tahun 2016. Status perpustakaan pun berubah dari Perpustakaan STAIN Pekalongan menjadi Perpustakaan IAIN Pekalongan dengan surat keputusan yang ditandatangani oleh Rektor IAIN Pekalongan yaitu SK No. 158 tahun 2017 tentang Pendirian Perpustakaan IAIN Pekalongan.

Usaha-usaha untuk memajukan dan meningkatkan perpustakaan dimulai dari gedung perpustakaan. Perpustakaan STAIN Pekalongan yang tadinya menempati ruangan yang sempit, mulai tahun 2000 Perpustakaan pindah ke gedung baru yang lebih luas. Namun demikian, dengan perkembangan jumlah mahasiswa yang cenderung bertambah dari tahun ke tahun, gedung yang ada pun kurang kondusif dan representatif untuk kegiatan membaca maupun bentuk-bentuk kegiatan yang lain. Berangkat dari hal itu, maka dibangun sebuah gedung baru dengan ukuran dan luas yang lebih representatif dan kondusif. Pada bulan Februari tahun 2006 gedung perpustakaan yang baru dengan luas 1200 m2 mulai digunakan. Dan dalam perkembangannya, gedung perpustakaan yang sekarang ditempatipun terasa sempit, karena adanya prodi-prodi baru di IAIN Pekalongan berakibat pada penambahan jumlah mahasiswa yang signifikan. Mengatasi hal ini, IAIN Pekalongan akan mengembangkan perpustakaan yang lebih ideal di areal kampus 3 yang berlokasi di daerah Bojong Kabupaten Pekalongan.

Usaha peningkatan mutu layanan, dilakukan dengan memanfaatkan perkembangan teknologi informasi dan komunikasi. Pemanfaatan teknologi informasi di Perpustakaan IAIN Pekalongan, sudah dirintis sejak masih berstatus Perpustakaan STAIN Pekalongan. Dimulai pada tahun 2004, dengan membeli program system informasi perpustakaan (SIMPUS), program tersebut hanya bisa untuk memasukan data base perpustakaan belum sampai kepada ranah administrasi dan layanan untuk pemustaka. Pada tahun 2005, Program otomasi Perpustakaan STAIN Pekalongan menggunakan sofware CDS-ISIS yang masih under DOS, yang merupakan bantuan dari Departemen Agama Pusat dan bekerja sama dengan IAIN Sunan Ampel. Data dari SIMPUS dikonversi ke program CDS-ISIS.

Pada saat itu, Perpustakaan STAIN Pekalongan mulai membangun sebuah jaringan komputer lokal (Local Area Network, LAN). Jaringan ini dimaksudkan sebagai upaya untuk melakukan otomasi di beberapa bidang layanan perpustakaan. Karena mengacu pada perkembangan teknologi saat itu, maka pada tahun 2006, sofware perpustakaan bermigrasi ke SIPRUS (sistem informasi perpustakaan) dengan membeli sofware tersebut dari vendor PCI Yogyakarta. Data yang ada dikonversi ke siprus. Dengan SIPRUS ini, Perpustakaan STAIN Pekalongan telah menerapkan otomasi penuh berbasis komputer pada seluruh kegiatan pelayanan pengguna dan kegiatan adminitrasinya sampai bulan Nopember tahun 2015. Pada tanggal 2 Desember 2015, dikarenakan tingkat ketergantungan kepada vendor yang tinggi, program SIPRUS dimigrasi ke software SLiMs (Senayan Library Management System) tipe cendana yang bersifat open source sehingga mudah dalam pengembangannya. Walaupun pada kenyataannya, proses migrasi itu tidak semudah membalikkan tangan. Banyak data yang harus diperbaiki dan disesuaikan, juga beberapa program di SLiMs belum berjalan sebagai mana mestinya. Tetapi dengan tekad untuk berubah ke arah yang lebih baik, Perpustakaan IAIN Pekalongan selalu berbenah diri dalam upaya memberikan layanan prima kepada pemustakanya.

Selain itu, dalam segi jumlah koleksi baik yang berupa buku, jurnal, majalah maupun yang lain juga menunjukkan peningkatan yang cukup berarti. Perpustakaan IAIN Pekalongan, sesuai konsentrasi keilmuan IAIN, memberi perhatian besar pada pelayanan dokumentasi dan informasi tentang ilmu-ilmu keislaman dalam arti yang luas. Bahan pustaka yang disediakan terdiri dari sumber-sumber ilmu keislaman klasik maupun modern dari dunia Timur maupun Barat, yang berbahasa Indonesia, Arab maupun Inggris, berupa buku, jurnal, majalah dan referensi-referensi lainnya. Di samping itu, terdapat pula bahan pustaka bidang-bidang ilmu dari disiplin ilmu lainnya, seperti Filsafat, Sosial, Ekonomi, Politik, Budaya, Sejarah, Kesenian dan lain-lain. Dokumen dan sumber informasi yang disediakan terus diupayakan untuk menjangkau pelbagai media cetak, audio visual, dan elektronik, serta sarana akses informasi mutakhir lainnya.

Perpustakaan IAIN Pekalongan berada di tengah Kampus IAIN Pekalongan, Jl. Kusumabangsa No. 9 Pekalongan. Seiring dengan era globalisasi dan liberalisasi informasi serta kemajuan teknologi informasi, Perpustakaan IAIN Pekalongan dikembangkan di atas paradigma baru yang menempatkan Perpustakaan tidak lagi sebagai tempat penyimpanan buku, tetapi lebih dari itu, sebagai pusat dokumentasi, pusat informasi dan pusat layanan  keilmuan. Sebagai Perpustakaan Perguruan Tinggi, Perpustakaan IAIN Pekalongan berkedudukan sebagai the heart of educational programs bagi fungsi Tri Darma IAIN yang meliputi pendidikan, penelitian dan pengabdian kepada masyarakat. Oleh karena itu, perpustakaan dituntut dapat melaksanakan aktivitas-aktivitas center of learning, Information Center and Center of Knowledge Access yang tidak terbatas pada layanan penyediaan dan peminjaman bahan pustaka, tetapi juga layanan penelusuran informasi ilmiah, dan pengembangan akademik lainnya.