Wujudnya PULAPEN boleh disifatkan sebagai lewat berbanding dengan sejarah terbinanya penjara tertua negara ini iaitu Penjara Pulau Pinang. Perkara ini bukanlah sesuatu yang mustahil kerana berkemungkinan besar anggota ketika itu adalah petugas daripada luar negara termasuk India dan Nepal. Sementara penjajah Inggeris sendiri yang terdiri daripada pegawai kanan adalah terdiri daripada pegawai polis yang menjalani latihan di England. Kalaupun ada di kalangan rakyat tempatan yang menjadi anggota penjara, berkemungkinan menjalani latihan di pusat-pusat latihan polis atau di institusi masing-masing. Memandangkan pada masa sebelum merdeka jabatan penjara dan polis berada di bawah satu komisioner, maka latihan hanya dijalankan di pusat latihan polis.
PULAPEN dibina pada awal tahun 1950-an oleh penjajah Inggeris. Tidak terdapat bukti jelas mengapa Daerah Taiping atau lebih tepat Mukim Asam Kumbang dipilih sebagai lokasi pusat latihan ini. Berkemungkinan Ibu Pejabat Penjara (ketika itu di Pejabat Tanah Taiping) berdekatan dengan Penjara Taiping yang telah wujud sejak tahun 1879. Teori juga mengatakan Taiping dipilih kerana ianya menjadi lokasi penempatan dan tumpuan penjajah Inggeris. Sekitar Perbandaran Taiping terdapat tempat-tempat yang menarik yang mungkin mempengaruhi pembina
Satu lagi faktor yang mungkin mendorong pembinaan pusat latihan ini ialah kerana kedudukannya yang berdekatan dengan stesen keretapi yang merupakan penghubung perjalanan ke utara dan selatan. PULAPEN pada asalnya dikenali sebagai Sekolah Latihan Pegawai Penjara dengan keluasan 22 ekar yang terletak lebih kurang 4.5 km daripada Bandar Taiping. Komandan pertama PULAPEN ialah J. Wetson daripada 1 Januari 1952 hingga 31 Mac 1954. Latihan asas pertama kepada pegawai yang berpangkat wadar pada tahun 1952 dengan catatan tamat latihan ialah pada 24 Julai 1952.
Bermula dari itu, PULAPEN terus memainkan peranan terhadap latihan anggotanya. Dari masa ke semasa, ianya melahirkan ramai pegawai yang terdiri daripada pegawai kanan dan anggota pangkat rendah. Pada 24 Februari 1960, PULAPEN telah mengadakan kursus bagi “senior wadar” yang pertama. Pada 12 April 1980, telah menyelesaikan kursus anggota wanita untuk kali pertama. Seramai (69) anggota wanita yang terdiri (19) pegawai dan (50) wadar telah menyertai kursus ini. Pada 28 Jun 1980, PULAPEN telah mengadakan Perbarisan Tamat Latihan bagi pegawai kanan penjara. Seramai (30) pegawai rendah, (19) pegawai kanan dan dua pegawai berpangkat Timbalan Penguasa (lantikan terus) menamatkan kursus ini. Sebagai sebuah institusi latihan tertua di Malaysia, PULAPEN sering dilawati oleh pemimpin negara dan tetamu asing. Pada 15 Julai 1960, merupakan tarikh bersejarah bagi PULAPEN di atas kunjungan Perdana Menteri Persekutuan Tanah Melayu, Yang Teramat Mulia Almarhum Tunku Abdul Rahman Purta Alhaj. Di samping itu beberapa lawatan lain iaitu;
DYMM Raja Muda Perak 01 Julai 1961
YB Ali Haji Ahmad 02 Julai 1973
Dato’ Syed Nahar 09 Mac 1977
Dato’ Sanusi Joned 30 April 1981
Tan Sri Ghazali Shafie 13 September 1981
Tan Sri Haniff Omar (IGP) 08 Mac 1982
Datuk Radzi Sheikh Ahmad 27 Disember 1985
Pihak-pihak luar juga berminat mengadakan lawatan ke PULAPEN. Kebiasaannya terdiri daripada pentadbir institusi dan agensi tertentu. Pernah PULAPEN dilawati oleh Pengarah-Pengarah Penjara Brunei, Thailand, Singapura, Englsnd, Ireland, Solomon Island, Papua New Guine dan wakil-wakil UNAFEI. PULAPEN dibuka dengan rasminya pada 1st January 1952 oleh Sir General Gerald Templer berpangkat PesuruhJaya Tinggi British di Malaya dan Persekutuan Tanah Melayu. Pada tahun 1980, institusi yang sebelum ini dikenali sebagai Sekolah Latihan Pegawai Penjara telah bertukar kepada Pusat Latihan Pegawai Penjara atau PULAPEN. Pada 13 Mac 1983, PULAPEN dirasmikan oleh YB. Mohd. Kassim Bin Ahmed, Timbalan Menteri Dalam Negeri. Peranan memberi latihan tidaklah terbatas kepada anggota Jabatan Penjara Malaysia sahaja, malah negara Brunei juga turut menghantar pegawai rendahnya mengikuti latihan di PULAPEN. Pada tahun-tahun 1980an hingga 1990an, PULAPEN juga turut melatih anggota di bawah Kementerian Dalam Negeri (KDN) iaitu Jabatan Imigresen. Pegawai penguatkuasa Majlis Perbandaran Taiping juga pernah mengikuti latihan di sini. Terdapat juga jemputan kepada pesyarah PULAPEN bagi memberi ceramah aspek keselamatan dan tatacara kawalan kepada anggota Agensi Anti Dadah Kebangsaan (AADK), dan latihan ‘Light Strike Force” kepada petugas Pusat Serenti.
PULAPEN sebenarnya sinonim dengan panggilan Stadium Sultan Yusuf. Penduduk tempatan sendiri lebih mengenali dengan nama ini. Ini adalah kerana wujudnya stadium yang pertama di Perak ialah di premis PULAPEN. Lebih penting dari itu, stadium ini melambangkan kegemilangan Jabatan Penjara Malaysia dalam bidang sukan khususnya bolasepak dan olahraga. Di sinilah lahirnya bintang-bintang bolasepak yang mengharumkan nama jabatan dan negara. Dengan kepimpinan Allahyarham Tan Sri Dato’ Murad Ahmad dan jurulatih Allahyarham Jalil Che Din, lahirlah pemain daripada Jabatan Penjara yang mewakili Malaysia dalam acara berkenaan di sukan Olimpik Munich 1972. Nama-nama seperti Yusuf Bakar, Syed Ahmad, Ali Bakar, Namat Abdullah, Hamzah Husin, V. Krishnasamy, Shaharuddin Abdullah, Salleh Ibrahim, Wan Zawawi dan lain-lainnya adalah tidak asing kepada negara. Sementara dalam sukan olahraga, stadium ini jugalah yang melahirkan nama-nama seperti Shamsudin Jaafar, Ramli Ahmad, Soloman Ismanto, K. Thirumal, Thor Gim Sun, R.S Maniam, R. Chellapah, Peter Govind, Willian Yeoh, Richard Nathan, P.L.B.S Payadesa, Papu Ignatius, Othman P. Andu, Simit Kiah, Jaikol Gubal dan lain-lainnya.
Bagaimanapun kewujudan Stadium Sultan tidaklah mudah disangka. Kalaulah tidak kerana semangat dan kepimpinan Allahyarham Tan Sri Dato’ Murad Ahmad serta kegigihan anggota yang bertugas ketika itu, pasti tidak akan wujud stadium ini. Pembinaan stadium ini menggunakan “tenaga empat kerat” anggota-anggota penjara. Tanpa modal dan penggunaan mesin, kerja-kerja pembinaannya hanya menggunakan peralatan secara ala kadar. Bermula dengan inisiatif Allahyarham Tan Sri Dato’ Murad anggota penjara dikerah untuk sama-sama membina padang dan pentas utama. Betapa getirnya di bawah panas matahari dan tanpa mengira masa, anggota ketika itu dengan mengangkut tanah, bahan binaan dan membina bangunan yang kekal sehingga sekarang.
Memetik kata-kata Allahyarham Tan Sri …
“Terbinanya stadium ini ialah sebagai lambang perpaduan pegawai-pegawai penjara dan satu contoh yang baik bagi menunjukkan sesuatu pekerjaan itu boleh jadi tercapai dengan pertolongan diri. Tiap-tiap kakitangan penjara dan Pesuruh Jaya membawa kepada serendah-rendah pelatih dan Pegawai Kerani membawa serendah-rendah Pegawai (Office Boy) sekeliannya menyahut dan memperbesar-besarkan bukan sahaja dengan memberi tenaga mereka bahkan dengan wang ringgit jua. Oleh kuat sangat desakan hati mereka pada hendak menjadikannya dengan seboleh-boleh, menyebabkan mereka-mereka bekerja dengan tidak menghiraukan masa atau pun cuaca. Ini menunjukkan bahawa cita-cita mereka telah tercipta. Saya berasa sangat megah dan berbesar hati dengan adanya pekerja-pekerja di bawah saya baik laki-laki mahupun perempuan-perempuan bersatu hati untuk mencapai kejayaan yang istimewa dan di waktu menjalankan kewajipannya mereka telah menunjukkan semangat dan mutu yang tinggi”
["Petikan Majalah “Bapa Sukan Penjara Malaysia”]
Pembinaan stadium ini mendapat respon positif daripada berbagai agensi kerajaan sekitar Taiping. Antara jabatan yang memberi sumbangan besar ke atas pembinaanya ialah Jabatan Kerja Raya (JKR), Majlis Perbandaran Taiping, Jabatan Ukur (Jabatan Sukat), Jabatan Hutan, Jabatan Pertanian dan Pejabat Kesihatan Taiping. Pembinaan stadium ini juga mendapat pengiktirafan daripada Almarhum Tunku Abdul Rahman sebagai kata aluannya ……
“The enthusiats olf the Prison Service in Taiping have virtually raised a new sports centre from the scrap-heap. There is no doubt that the new Taiping Stadium will prove to be of very great benefit to the sporting youth of Malaya, particularly in the north”.
Petikan Majalah
“Bapa Sukan Penjara Malaysia”
Stadium ini dirasmikan oleh Sultan Perak Darul Ridzuan Almarhum Sultan Yusuf Izzuddin Shah pada Julai 1960. Turut hadir ialah YTM Almarhum Tunku Abdul Rahman, pembesar-pembesar tempatan dan Allahyarham Tan Sri Murad Ahmad, Pesuruhjaya Penjara. PULAPEN semakin berkembang pesat. Kemudahan asrama dan pejabat pentadbiran diganti baru. Dewan makan dan bilik-bilik kuliah lebih kondusif berbanding dengan dahulu. Telah ada sebuah makmal komputer dan perpustakaan serta dinaik taraf bahagian / unit tertentu. Paling membanggakan ialah terbinanya sebuah auditorium yang dikenali sebagai Auditorium Ilmu yang merupakan yang terbaik di Jabatan Penjara Malaysia, malah di Negeri Perak sendiri.