Andrew Jackson'ın en sevdiği hobi, at yarışı ve at yetiştiriciliği idi. Hayatı boyunca birçok yarış atına sahipti ve cumhurbaşkanlığı öncesi ve sonrasında sık sık onları yarışıyordu. Ayrıca oyun avuçlarını yükseltti ve kuşlarına Nashville çevresindeki horoz dövüşlerine girdi.
Andrew Jackson da iyi bir şakaya bayıldı. Salisbury, Kuzey Carolina'da bir hukuk öğrencisi iken Jackson, küçük Kuzey Carolina kasabasında her yıl büyük öneme sahip olan yıllık Noel topunu yönetmek için seçildi. Şaka olarak, baloya iki fahişe davet etti, ancak katılımcılar bu hareketi Jackson'ınki kadar komik buluyordu.
Gazete ve roman okuyucusu oldu. En sevdiği kitap Oliver Goldsmith'in "Wakefield Vicar" ıydı. Andrew Jackson dünyanın dört bir yanından geniş bir boru koleksiyonuna sahipti, ancak mısır koçanı borusundan başka nadiren sigara içiyordu. Ham petrol boru hattının tadını, uluslararası üne kavuştuğu sırada kazandığı her şeyden daha çok sevdiğini iddia etti.
Jackson'ın mesleği siyasetti ama aynı zamanda en büyük hobilerinden biri olarak da sayılabilirdi. Başkanlığı 1836'da terk ettikten sonra Nashville'deki evinden politik olarak aktif kaldı. Martin Van Buren ve James K. Polk seçimlerinde 1845'teki ölümünden önce Beyaz Saray'a büyük rol oynadı.
