Ksilofonun mucidi olarak tanımlanmış belirli bir kişi yok. Ksilofonlar hem Asya hem de Afrika'da keşfedilmek üzere izlenebilir. Küçük bir kanıt, enstrümanın Endonezya kökenli olduğunu gösteriyor; Bununla birlikte, çoğu uzman kanıtları göz ardı eder.
Ksilofon Güneydoğu Asya'da 9. yüzyıla kadar izlendi. Ksilofon binlerce yıldan beri olmasına rağmen, bir sözlük içine ilk giriş 19. yüzyılda gerçekleşti. Yunanca, ksilofon "ahşap ses" anlamına gelir. Bazı modern ksilofonlarda ses üretmek için tokmak ile vurulmuş metal çubuklar bulunur. Ancak, eski sürümler tahtadan yapılmıştır.
