Berikut rangkuman cuplikan sejarah Istana Bogor :
Gubernur Jendral Belanda bernama G.W. Baron van Imhoff, ikut melakukan pencarian itu dan berhasil menemukan sebuah tempat yang baik dan strategis di sebuah kampung yang bernama Kampong Baroe, pada tanggal 10 Agustus 1744. Setahun kemudian, yaitu pada tahun 1745 Gubernur Jendral van Imhoff (1745 -1750 ) memerintahkan pembangunan atas tempat pilihannya itu sebuah pesanggrahan yang diberi nama Buitenzorg,(artinya bebas masalah/kesulitan). Dia sendiri yang membuat sketsa bangunannya dengan mencontoh arsitektur
Di Buitenzorg yang berlatar Gunung Salak, serta seperti dikelilingi oleh Gunung Pangrango dan Gunung Gede, Gubernur Jenderal Van Imhoff sering ‘beristirahat’ dari kesibukannya sebagai Gubenur Jendral di Batavia. Dikelilingi pemandangan indah, gunung dan lembah, tempat ini cocok untuknya beristirahat. Diambil dari kata “sans souci” yang dibahasabelandakan menjadi “Buitenzorg” yang berarti bebas masalah, itulah nama tempat indah ini. Pembangunan Buitenzorg dilanjutkan oleh Jacob Mossel, gubernur jenderal berikutnya.
Dalam perjalanan sejarahnya, bangunan ini sempat mengalami rusak berat sebagai akibat serangan rakyat Banten yang anti Kompeni, di bawah pimpinan Kiai Tapa dan Ratu Bagus Buang, yang disebut Perang Banten 1750 - 1754. Akibat gejolak peperangan ini Buitenzorg mengalami kerusakan. Tapi kemudian diperbaiki lagi oleh Gubernur Jenderal berikutnya.
Pada masa Gubernur Jendral Willem Daendels ( 1808 - 1811 ), pesanggrahan tersebut diperluas dengan memberikan penambahan baik ke sebelah kiri gedung maupun sebelah kanannya. Gedung induknya dijadikan dua tingkat. Halamannya yang luas juga dipercantik dengan mendatangkan enam pasang rusa tutul dari perbatasan
Kemudian pada masa pemerintahan Gubernur Jendal Baron van der Capellen ( 1817 - 1826 ), dilakukan perubahan besar - besaran. Sebuah menara di tengah - tengah gedung induk didirikan sehingga istana semakin megah, Sedangkan lahan di sekeliling istana dijadikan Kebun Raya yang peresmiannya dilakukan pada tanggal 18 Mei 1817.
Buitenzorg kembali mengalami kerusakan berat, ketika terjadi gempa bumi pada tanggal 10 Oktober 1834. Pada masa pemerintahan Gubernur Jenderal Albertus Yacob Duijmayer van Twist (1851-1856) bangunan lama sisa gempa itu dirubuhkan dan dibangun dengan mengambil arsitektur Eropa Abad IX
Pada masa pemerintahan Gubernur Jendral Albertus Yacob Duijmayer van Twist ( 1851 - 1856 ), bangunan lama sisa gempa dirubuhkan sama sekali. Kemudian dengan mengambil arsitektur eropa Abad IX, bangunan baru satu tingkat didirikan. Perubahan lainnya adalah dengan menambah dua buah jembatan penghubung Gedung Induk dan Gedung Sayap Kanan serta Sayap Kiri yang dibuat dari kayu berbentuk lengkung. Bangunan istana baru terwujud secara utuh pada masa kekuasaan Gubernur Jendral Charles Ferdinand Pahud de Montager ( 1856 - 1861 ). Dan pada pemerintahan, selanjutnya tepatnya tahun 1870, Istana Buitenzorg ditetapkan sebagai kediaman resmi para Gubernur Jendral Belanda. Kemudian pada tahun 1870, Istana Buitenzorg ditetapkan sebagai kediaman resmi para Gubernur Jenderal Belanda.
Penghuni terakhir Istana Buitenzorg itu adalah Gubernur Jenderal Tjarda van Starkenborg Stachourwer yang terpaksa harus menyerahkan istana ini kepada Jenderal Imamura, pemerintah pendudukan Jepang. Akan tetapi, riwayat telah mencatat sebanyak 44 gubernur jenderal Belanda pernah menjadi penghuni istana ini. Setelah masa kemerdekaan, Istana Kepresidenan Bogor (1950) mulai dipakai oleh pemerintah Indonesia
Akhir perang dunia II, Jepang menyerah kepada tentara Sekutu, kemudian
Istana Kepresidenan Bogor mempunyai koleksi buku, benda seni, baik yang berupa lukisan, patung, serta keramik dan benda seni lainnya.