Albert Einstein'ın Mileva Maric ile birlikte üç çocuğu vardı. İlk çocukları, Lieserl adlı bir kızı, 1902'de evlilik dışı olarak doğdu ve evlat edinilmek için vazgeçildi. Einstein ve Maric 1903'te evlendiler. Evlilikleri iki oğul verdi: 1910'da doğan Eduard ve 1914'te Hans Albert.
Lieserl'in 21 aylık hassas yaşta öldüğüne inanılıyor. Eduard'a şizofren teşhisi kondu ve 38 yaşında İsviçre'nin Zürih'teki bir hastaneye kabul edildi. Hans Albert Zürih'teki İsviçre Federal Teknoloji Enstitüsü'nde okudu ve bir hidrolik mühendisi oldu.
Einstein'ın ikinci evliliği ilk kuzeni Elsa Einstein-Lowenthal'dı. İki kızı Ilse ve Margot'un üvey babasıydı.