James Madison, yetişkinlik için yaşayan üç erkek ve üç kız kardeşi vardı: Francis, Ambrose, Nelly, William, Sarah ve Frances. Madison'ın kardeşlerinin beşi bebek ya da çocuk olarak öldü.
Madison'ın erkek kardeşi Francis, Orange County, Virginia'da bir ekici idi. Erkek kardeşi Ambrose, Virginia milislerinde bir kaptandı. Aynı zamanda bir ekiciydi ve ailenin Orange County'deki çıkarlarını denetledi. William Madison, Devrim Savaşı sırasında görev yaptı. Aynı zamanda bir avukattı ve Virginia yasama meclisinde görev yaptı. Madison'ın üç kız kardeşi Nelly, Sarah ve Frances yetişkin olarak evlendi.
