Başkan James Madison’ın kardeşleri arasında General William Taylor Madison; Kaptan William Ambrose Madison, Sr .; Eleanor "Nellie" Conway Hite (Madison); Frances "Fanny" Rose (Madison); Mollie Davis; Francis Taylor Madison; Robert Cole Madison; Sarah Catlett Madison; Elizabeth Madison; Catlett Madison; Reuben Madison; ve John Madison. Kardeşlerinden ikisi bebekken öldü.
Başkan Madison, James Madison, Sr. ve Nelly Conway Madison'ın ilk doğumlu çocuğu olarak James Madison, Jr. olarak doğdu. James, erken çocukluğunu Virginia'daki ailesi mülkü Montpelier'de geçirdi. 12 yaşındayken, Donald Robertson’un okuluna gitti; burada Latince ve Yunanca öğrendi ve aritmetik ve coğrafya çalıştı. Lisans derecesini New Jersey Koleji'nde kazandı.
