Bank Rakyat bermula pada tahun 1954 melalui penggabungan 11 bank kesatuan di bawah Ordinan Syarikat Kerjasama 1948.
Awalnya dikenali sebagai Bank Agong (Bank Agong Kampong Bekerjasama-sama Persekutuan Tanah Melayu Dengan Tanggungan Berhad), kemudiannya dinamakan semula menjadi Bank Kerjasama (Bank Kerjasama Malaysia Berhad) pada tahun 1967.
Nama akhir Bank Rakyat diadopsi pada tahun 1973.
Pada tahun 1993, empat cawangan Bank ini beralih kepada amalan patuh Syariah, dan peralihan sepenuhnya ke sistem patuh Syariah berlaku pada tahun 2003.