George Washington, 1791’de Beyaz Saray’ın yerini seçmesine rağmen, orada hiç yaşamadı. 2014’te Beyaz Saray’da bulunmayan tek başkan.
John Adams ve ailesi, Beyaz Saray'da yaşayan ilk başkan aile idi. 1814'te İngilizler evi ateşe verdi; yeniden yapıldı. 1817'de James Monroe taşındı. Harry S. Truman, Beyaz Saray'ın restorasyonuna başladı ve 1952'de Beyaz Saray'a geri döndü.
Bazı başkanlar altında, Beyaz Saray, İlk Ailenin taşınmasını gerektirmeyen bir yapıya geçti. Theodore Roosevelt, cumhurbaşkanlığının ofislerini Batı Kanadı'na, William Howard Taft ise Oval Bürosu yaptırdı.
