Beyaz Saray'ın dış duvarları, köleler tarafından taş ocağı yapılan beyaz boyalı Aquia Creek kumtaşından yapılmıştır.
James Hoban, Beyaz Saray'ı daha sonra Dışişleri Bakanı Thomas Jefferson'un ve 1792'de organize ettiği Başkan George Washington'un yarıştığı bir yarışma kazandıktan sonra tasarladı. Efsaneye göre Jefferson, kendisi bir mimar, yarışmaya sahte bir isim altında girdi ve kaybetti. Beyaz Saray ilk inşa edildiğinden beri defalarca yenilenmiştir; ancak, dış duvarlar başlangıçta yapılmış duvarlarla aynıdır.
