Beyaz Saray’ın temel taşı 13 Ekim 1792’de atıldı. ABD’yi Beyaz Saray’ı işgal eden ilk başkan, 1800’de tamamlanmamış yapıya taşınan John Adams.
Aslen İcra Konağı olarak adlandırılan Beyaz Saray, İrlandalı göçmen James Hoban tarafından tasarlanmıştır. 1812 Savaşı sırasında İngiliz birlikleri Beyaz Saray'ı yaktı. Hoban'ın tasarımını kullanarak yeniden inşa edildi ve genişletildi. Başkan James Monroe, 1817 yılında yeniden inşa edilen Beyaz Saray'ı işgal eden ilk ABD başkanıydı.
