Andrew Jackson, 1824 seçimlerini kaybetti, çünkü popüler ve seçim oylarının çoğunluğunu almış olmasına rağmen, marjı kazanmak için yeterince büyük değildi ve anayasa seçimlere Kongre tarafından karar verilmesi gerektiğine karar verdi. . Adaylardan biri olan Henry Clay, başka bir aday olan John Quincy Adams'a destek verdi ve Adamlar Kongre oylamasını kazandı.
1824’ün cumhurbaşkanlığı seçimi, Amerikan tarihinin en yakınlarından biriydi. John Quincy Adams, Başkan James Monroe'nun devlet sekreteriydi. Andrew Jackson, 1815'te New Orleans savaşından sonra bir savaş kahramanıydı. Henry Clay, evin konuşmacısı ve güçlü bir siyasi varlığıydı. Popüler seçimlerden sonra, Andrew Jackson, John Quincy Adams ve William H. Crawford adlı bir başka aday, Kongre seçimlerine katılırken, Henry Clay elendi. Adams Clay ile gizli bir toplantı yaptı, Clay'in desteğini aldı ve seçimleri kazandı. Daha sonra, Henry Clay'i devlet sekreteri olarak atadı. Andrew Jackson çok sinirlendi ve seçimi ve "yolsuz pazarlık" olarak sonuçlarını kınadı.
Popüler bir desteğe sahip olmayan John Quincy Adams, Beyaz Saray'daki bir dönemi boyunca çok az şey başardı. 1828’in cumhurbaşkanlığı seçiminde Andrew Jackson, Adams’a iki defadan fazla seçim oyu kazandı.