Karbon ilk önce tarih öncesi zamanlarda odun kömürü olarak keşfedildi. Robert Boyle, bir elementi daha basit maddelere ayrıştırılamayan bir madde olarak sınıflandırdıktan sonra, 17. yüzyılda bir element olarak tanındı.
Carbon, Fransız bilim adamı Antoine Lavoisier tarafından özelliklerini ortaya çıkarmak için çeşitli deneyler yaparken seçildi. Deneylerinden birinde Lavoisier, güneş ışınlarını bir elmas üzerine odaklamak için bir büyüteç kullandı ve elmasın yandığını ve kaybolduğunu gördü. Pırlanta ve oksijenin her ikisinin de karbondan yapıldığı sonucuna varmasına neden olan karbondioksit oluşturmak için oksijenin bir araya geldiğini fark etti.
1770 yılında Carl Wilhelm Scheele, grafitin de karbondioksit oluşturmak için yakıldığını ve böylece başka bir karbon şekli keşfettiğini gösterdi. Yine bir başka karbon şekli olan fulleren, 1985'te Robert Curl, Harry Kroto ve Richard Smalley tarafından keşfedildi. Fullerene "buckminsterfullerene" olarak da adlandırılmıştır, çünkü molekülleri 1967 Dünya Fuarı için mimar Buckminster Fuller tarafından tasarlanan jeodezik kubbelere benzemektedir. En son keşfedilen karbon şekli, altıgenler halinde düzenlenmiş tek bir karbon atomu katmanından oluşan grafendir. Grafen, 2004 yılında, bu karbon şeklini üretmek için tek bir atom katmanını grafitten ayırmak için yapışkan bant kullanan Kostya Novoselov ve Andre Geim tarafından keşfedildi.