Kudüs, Müslümanlar için önemlidir, çünkü Hazreti Muhammed'in, Mekke'den götürüldükten sonra Kudüs'ten göklere çıktığına inanılır. Müslümanlar da, Mekke yerine Kudüs'te dua etti Musa, İbrahim, İsa ve diğer peygamberler.
İç İslam'a göre, Muhammed yeni bir din yarattığına inanmadı. Bunun yerine, önceki peygamberlerin yarattığı dini daha da ileri götürdüğünü hissetti. İslam'ın Hristiyanlık ve Yahudilik ile aynı teolojik soyları paylaştığını hissettiğinden, Kudüs bu inançlar arasındaki bağı sembolize ediyordu. Müslümanlar, Muhammed'in eski peygamberlerle buluştuğunu ve onları daha geniş monoteizm geleneği içinde bağlamlamaya yardımcı olan Kudüs'te dua etmeye yönlendirdiğine inanıyorlar.
Muhammed, Müslümanların Mekke'deki Kutsal Camii, Medine'deki cami ve Kudüs'teki en uzak Camii anlamına gelen Mescid-i Aksa'yı ziyaret etmesi gerektiğini söyledi. Bu, Müslümanların Kudüs'ü sürekli yüksek saygı duymalarına yardımcı oldu.
Kudüs, 637'de Müslümanlar tarafından ele geçirildi ve bu da onu Mekke'den sonra İslam'ın baş tapınağı haline getirdi. Kaya kubbesi, 688 ile 691 yılları arasında kentte, Müslümanların Muhammed'in göklere çıktığına inandığı yerde inşa edildi.