James Spader ve ilk eşi Victoria Kheel, 2004'te boşandı. Spader ve Kheel, 1980'lerin başında bir araya geldiler ve 1987'de evlendiler. boşanma bilinmiyor.
Spader ve Kheel'in evli oldukları sırada iki oğlu vardı. Bu ikisi, Kheel'in Spader'in kendisi ve Kheel birlikte olduktan sonra yükseltmelerine yardım ettiği önceki bir ilişkiye sahip olduğu çocuğuna ek olarak vardı.
2014 itibariyle, Spader, Kheel'den boşanmasından bu yana neredeyse on yıl boyunca aktris Leslie Stefanson ile çıkıyordu. Spader ve Stefanson'un bir oğlu var.