Andrew Jackson, John Calhoun ile sosyal ve politik kökenlerden kaynaklanan çeşitli zorluklar yaşadı. Jackson, Jackson’ın savaş sekreteri John Eaton’ın eşine, Calhoun’un karısı da dahil olmak üzere kabine memurlarının eşleri ve kızları tarafından nasıl muamele edildiğine katılmıyordu; Eaton'ın karısına baktılar ve Jackson'a kendi karısı Rachel'ın aynı gruptan aldığı tedaviyi hatırlattı. Siyasi olarak, iki adam Calhoun ve devletlerin hakları partisi Jackson'ı görüşlerini desteklemek için tuzağa düşürmeye çalışırken devletlerin hakları konusunda anlaşamadılar.
Jackson ve Calhoun arasındaki kişisel düşmanlık, savaş sekreteri karısının kötü muamelesi etrafında dönüyordu. Ayrıca onun hakkında dedikodu yaptılar. Bu iltihaplanan Jackson, karısı aynı sosyal çevrede daha küçük bir sınıf insanı olarak görüldüğü için.
1832’de Thomas Jefferson’un doğum günü kutlamasında Calhoun ve kampındaki diğerleri, geçersiz kılma ile devlet haklarının hükümete bakışı arasında bir bağlantı kurma çabasında. Jackson katılmamıştı, bunun yerine federal birliğe bir tost verdi ve genel başkan yardımcısı olan Calhoun'un korunmasını ve temelde aşağılandığını açıkladı. Calhoun sonunda başkan yardımcılığı görevinden istifa etti.