Japonya'nın temel fiziksel özellikleri dağ zincirleri, volkanlar ve ağır ormanlardır. Ülke, çoğunlukla sahil çevresinde meydana gelen birkaç ovaya, az sayıda göllere ve birkaç kısa nehirlere sahiptir.
Japonya'nın yaklaşık yüzde 80'i hem aktif hem de aktif yanardağlarla dağlıktır. Honshu adasında bulunan Japon Alpleri, yüksekliği 8000 ila 10,500 metre arasında değişen muazzam dağlardır. Japonya'nın en yüksek dağı Tokyo yakınlarındadır. Fujiyama adı verilen bu volkanik koni, yüksekliği 12.383 fit'e ulaşıyor. Volkanlar Japonya'nın önemli bir özelliğidir. Japonya'yı oluşturan adalarda, sadece 50'sinin aktif olduğu 192 volkan var.
Öne çıkan bir diğer fiziksel özellik Kanto Ovası'dır. Japonya'nın yalnızca yüzde 20'si düz olmasına rağmen, Kanto Ovası büyük. Burası Tokyo'nun bulunduğu yer. Birkaç ova önemlidir, çünkü burası nüfusun çoğunluğunun yaşadığı ve tarım ve üretimin gerçekleştiği yerdir.
Çok az göl olmasına rağmen, en büyüğü Biwa Gölü'dür. Honshu'da bulunur ve 265 mil karedir. Bir diğer önemli su kütlesi ise Japonya'nın üç adası arasında yer alan İç Deniz'dir: Şikoku, Kyushu ve Honshu. Japonya'da birçok nehir var, ancak hiçbiri tekne ile gezilemiyor. Ancak, bu nehirler önemli sulama kaynakları ve hidroelektrik kaynaklarıdır. En uzun nehir Shinano'dur ve 230 mil yol kat eder.