Bir kölenin konut durumu işine ve sahibinin sosyal durumuna bağlıydı. Az sayıda köle olan orta sınıf aileler genellikle kölelerin evlerinde kalmasına izin verir. Tarlalarda ve diğer büyük mülklerde, tarlada çalışan köleler özel köle evlerinde yaşıyorlardı. Aşçılar ve işkenceler genellikle evleriyle aynı evlerin içinde, genellikle arka odada ya da çatı katında yaşıyorlardı.
Demiryolu şirketleri ayrıca demiryolları inşa etmek için köleler kullandı. Çiftliklerdeki köleler gibi, bu köleler de korkunç yaşam koşullarına sahipti. Yatakları sert, eğimli çam tahtaları ve tek bir battaniyeyle daha fazlası değildi. Köle kabinleri kötü yapılmış bacalara sahipti ve kölelerin talep ettiği korkunç çalışma saatleri nedeniyle genellikle çok temiz değildi. Çoğu zaman köleler şafaktan gece vakti gelene kadar çalışmak zorunda kaldılar. Tükenme nedeniyle birçok köle çöktü. Yiyecekleri genellikle dost bir köle tarafından hazırlandı, ancak rasyonları zayıftı. Bazen bir gün boyunca yiyecekleri şalgam ve patatesten başka bir şey olamaz.
Köle sahipleri, genellikle kölelerini para ve mal karşılığı olarak aldılar. Bu nedenle, küçük çocuklar da dahil olmak üzere birçok köle, ailelerinden ayrıldı. Yerli köleler, daha az ağır sosyal statülerini sürdürebilmeleri için diğer yerel kölelere sahip çocuklar için sıklıkla evlilikler düzenlerdi.
