Beyaz Saray'ın resmi web sitesine göre, İrlandalı mimar James Hoban, binanın orijinal yapısını 1792-1800 yılları arasında denetledi. Hoban, 1812 Savaşı'ndan sonra yeniden inşa etme çabalarını da denetledi.
Beyaz Saray'ın Küratör Ofisi'ne göre, Beyaz Saray'ın sitesi 1791'de George Washington tarafından seçildi. p>
John Adams ve karısı Abigail, 1800'de binaya taşındı. 1814'te, 1812 Savaşı sırasında, İngilizler Beyaz Saray'a ateş açtı. Hoban, yeniden yapılanma çabalarını denetlemek üzere atandı ve Başkan James Monroe, 1817'de Saray'a taşınabildi.