Booker T. Washington üç kez evliydi ve biri ilk karısı, ikisi de ikinci karısı olan üç çocuğu vardı. İlk karısı Fanny Norton Smith ile 1882'de evlendi. Kızlık okulu öğrencilerinden biri ve kızı Portia, 1883'te doğdu.
Fanny Norton Smith, Portia'nın doğumundan bir yıl sonra öldü ve Booker T. Washington, ikinci karısı Olivia Davidson'la 1885'te evlendi. Birlikte, Booker T. Washington Jr. ve Ernest Davidson Washington'un oğulları vardı. Olivia evlendikten dört yıl sonra, 1889'da öldü. Washington, 1892'de üçüncü karısı Margaret James Murray ile evlendi, ancak birlikte çocukları olmadı. Booker T. Washington 14 Kasım 1915'te öldü ve karısı Margaret 1925'te öldü.
