Jeruzalem je veľmi staré mesto. Má veľký význam pre tri náboženstvá: Je to veľký význam pre dve veľké náboženstvá: judaizmus, kresťanstvo a islam. V Biblii sa píše, že kráľ Dávid, druhý izraelský kráľ, toto mesto dobyl od pohanov a usadil v ňom svoj palác. Kráľ Šalamún, Dávidov syn a ďalší kráľ, postavil v Jeruzaleme Šalamúnov chrám. Neskôr Jeruzalem ako hlavné mesto Judska zničil babylonský kráľ Nabuchodonozor II. Palác kráľa Dávida a Šalamúnov chrám boli vypálené a Židia boli zajatí a odvlečení do Babylonu. O sedemdesiat rokov neskôr im perzský kráľ Kýros dovolil vrátiť sa do Jeruzalema a obnoviť Chrám.
Neskôr túto oblasť obsadili Rimania. Kráľ Herodes Veľký, ktorý vládol pre rímskeho cisára, zväčšil chrám, aby sa pokúsil získať priazeň Židov. Chrám bol známy svojou veľkosťou a krásou.
Ježiš zomrel v Jeruzaleme okolo roku 33 n. l. V roku 70 n. l. sa Židia vzbúrili proti Rimanom, ale Rimania mesto a chrám zničili. Židov, ktorí žili v Jeruzaleme, chytili a stali sa otrokmi. Rimania premenovali Jeruzalem na latinský názov. Odvtedy Chrám nebol obnovený a dodnes sa zachovala len časť jeho múru.
Po rozdelení Rímskej ríše na dve časti vládla Jeruzalemu Byzantská ríša. Neskôr mesto od nich prevzali moslimovia. Moslimovia verili, že Mohamed odišiel do neba z Jeruzalema.
Neskôr pápež v Ríme poslal križiakov zo západnej Európy, aby sa pokúsili dobyť Jeruzalem späť. Na chvíľu sa im to podarilo, ale nakoniec mesto opäť pripadlo Saracénom. Až do 20. storočia bol Jeruzalem súčasťou Osmanskejríše. V Jeruzaleme po celý čas žili niektorí Židia, aj keď im vládli iní ľudia.
"Nové mesto" Jeruzalema je časť mimo starých kamenných hradieb. Nové mesto začali ľudia stavať v roku 1800. Mishkenot Sha'annanim, Mea Shearim a Bucharanská štvrť sú jedny z prvých štvrtí nového mesta.
Po prvej svetovej vojne bola Osmanská ríša porazená. V júni 1922 schválila Liganárodov britský mandát Palestíny. Týmto mandátom získalo kontrolu nad touto oblasťou Spojené kráľovstvo. Územie západne od rieky Jordán bolo známe ako Palestína. Pod priamou britskou kontrolou bola až do roku 1948. Územie východne od rieky Jordán bolo známe ako Transjordánsko a spravovala ho rodina Hašemitovcov. Transjordánsko získalo nezávislosť v roku 1946.
Mandát v Palestíne sa skončil o polnoci 14. mája 1948. Na druhý deň sa začala arabsko-izraelská vojna v roku 1948. Izrael vyhlásil nezávislosť, Západný breh Jordánu bol anektovaný Jordánskom a Egypt prevzal kontrolu nad pásmom Gazy.
V roku 1949, na konci prvej arabsko-izraelskej vojny, bol Jeruzalem rozdelený medzi Izrael a Jordánsko. Izrael kontroloval západnú časť mesta. Jordánsko kontrolovalo východnú časť vrátane Starého mesta, opevnenej časti Jeruzalema z biblických čias. Izrael prevzal kontrolu nad celým mestom počas šesťdňovej vojny v roku 1967.
Jeruzalem si dnes štát Izrael nárokuje ako svoje hlavné mesto. Organizácia Spojených národov nesúhlasí s tým, aby Izrael tvrdil, že Jeruzalem je hlavným mestom Izraela.