Andrew Jackson’ın hatırladığı en önemli olumsuz şey, birçok Amerika’nın, özellikle Amerika Birleşik Devletleri'nin güneydoğu kesiminde, zorla yer değiştirmesidir. Aynı zamanda, Birleşik Devletler İkinci Bankası sözleşmesini yenilemeyi reddeden ve ardından paniği tetikleyen, ancak esas olarak halefi Martin Van Buren'den sorumlu tutulan enflasyon kontrol politikaları düzenleyerek ekonomik bir bunalım başlattı.
1830'da Jackson, Kongre’yi uygulamak için çalıştığı Hindistan Kaldırma Yasasını imzaladı. Bu yasa, Yüksek Mahkemenin hukuki olarak atalarının topraklarına sahip olmalarına izin verilmediğine karar vermiş olan Kızılderili kabileleri ile anlaşma antlaşmalarını müzakere etmesine izin verdi. Jackson, Yerli Amerikalıların beyaz yerleşimcilerden aşağı olduğuna ve onları Mississippi'nin batısına zorlamak istediğine inanıyordu. Yerli Amerikalıların kendilerini yönetebilmesi için Birleşik Devletler'in bu sınırı geçmeyeceğine inanıyordu.
Sonuçta, birçok kabilenin isteyerek gitmeyi reddetmeleri durumunda topraklarını kandırmaları ya da zorla götürmeleriydi, bu da askerler ile çatışmalar ve açlıktan ve hastalıklardan birçok ölümle sonuçlandı. Özellikle Cherokee, Gözyaşı Yolu olarak bilinen zorunlu bir yürüyüşe maruz kaldı. Topraklarını o kadar çabuk zorladılar ki, yeterli miktarda malzeme toplayamadılar ve 4000'den fazla Cheroke kötü beslenmeden ve maruz kalmadan öldü. Jackson, 46.000'den fazla Yerli Amerikalı'nın topraklarından çıkarılmasını denetledi.
