Beyaz Saray ilk olarak beyaz yapıldı, çünkü duvarları tamamlandığında 1798'de kireç esaslı bir badana kullanıldı. Badana, Beyaz Saray'ın gözenekli taşının donmasını önlemeye yardımcı oldu.
Beyaz Saray'ın neden daha sonra beyaza boyandığı açık bir şekilde bilinmemekle birlikte, badana soluklaştığında kirli görünmeye başlaması iyi olabilir.
Beyaz Saray, cumhurbaşkanının Amerikan tarihinin başlarında ikametgahının lakabı olarak başladı. Kongre üyesi Bigelow, 1812'de bir meslektaşına, cumhurbaşkanının konağına "Beyaz Saray" adını verdiklerini söyleyerek bir mektup yazdı. 1901'de Theodore Roosevelt, Beyaz Saray'ı cumhurbaşkanının evinin resmi adı yaptı.
