L'any 638 l'Exèrcit del Primer Califat va arribar a les portes de Jerusalem. Segons la llegenda, el Patriarca de Jerusalem, Sofroni, va oferir la rendició pacífica de la ciutat amb la condició que el rebés el Califa en persona. Quan el Califa Úmar va entrar a Jerusalem, Sofroni el va convidar a resar en el Sant Sepulcre. Úmar va declinar, per evitar que el Sant Sepulcre esdevingués un indret sagrat per als musulmans i pogués ser expropiat als cristians. En canvi va resar fora de l'Església. En honor d'aquest esdeveniment va ser construïda la Mesquita d'Úmar al segle x. L'edifici actual data del segle xix, i va ser construït pels otomans. El minaret de la mesquita va ser erigit més alt que les cúpules de l'Església del Sant Sepulcre per demostrar qui governava la ciutat. També es anomanar Mesquita d'Úmar equivocadament a la Cúpula de la Roca.
