Сын золотых дел мастера, начальное художественное образование получил в родном городе и, приехав в 1841 в Париж, поступил в ученики к П. Деларошу, вместе с которым, в 1844, отправился в Италию, где усердно занимался рисованием и живописью с натуры. Вернувшись в Париж, работал некоторое время под руководством Глейера, а потом снова у Делароша.
Первое произведение, обратившее на него общее внимание, была выставленная в салоне 1847 картина: «Молодые греки забавляются петушиным боем» (эта работа представлена в постоянной экспозиции парижского Музея Орсе). За нею последовали: «Анакреон, заставляющий плясать Бахуса и Амура» (1848) и «Греческий лупанар» (1851) — сцена, в которой уже ясно выражалась одна из главных черт многостороннего таланта живописца, а именно его уменье смягчать соблазнительность сюжета строгой обработкой форм и как бы холодным отношением к тому, что способно возбудить в зрителе чувственность.
Подобная же двусмысленная картина Жерома появилась в салоне 1853 под невинным названием «Идиллия». Все эти воспроизведения древнегреческой жизни, благодаря оригинальности взгляда на неё художника и мастерству его техники, сделала его вождем особой группы в среде французских живописцев — группы так называемых «неогреков».
Написанная им в 1855 картина «Век Августа», с фигурами в натуральную величину, может рассматриваться только как неудачная экскурсия в область исторической живописи в строгом смысле слова. Несравненно больший успех имели «Русские солдаты-песельники» — сцена, написанная по этюдам, сделанным во время поездки Жерома, в 1854, через Россию в Молдавию.
Ещё лучше его высоко драматическая «Дуэль после маскарада» (1857 и появившиеся после поездки художника на берега Нила «Египетские рекруты, конвоируемые албанскими солдатами в пустыне» (1861).
Разделяя таким образом свою деятельность между Востоком, Западом и классической древностью, Жером пожинал, однако, наиболее обильные лавры в области последней. Из неё почерпнуты сюжеты для его ставших всемирно известных картин: «Убийство Цезаря», «Царь Кандавл показывает свою красавицу-супругу Гигесу», «Гладиаторы в цирке приветствуют императора Вителлия» (Ave Caesar, morituri te salutant), «Фрина перед ареопагом» (1861), «Авгуры», «Клеопатра у Цезаря» и некоторых другие. Увеличив этими работами свою уже и без того громкую известность, Жером обратился на некоторое время снова к быту современного Востока и написал картины: «Перевоз пленника по Нилу» (1863), «Турецкий мясник в Иерусалиме», «Алмея», «Рабочие на молитве» (1865), «Башня мечети Аль-Эссанейн, с выставленными на ней головами казненных беев» (1866) и «Арнауты, играющие в шахматы» (1867); порой он брался также за темы из французской истории, каковы, например, «Людовик XIV и Мольер» (1863), «Приём сиамского посольства Наполеоном» (1865) и «7 декабря 1815» (смерть маршала Макдональда).
Начиная с 1870-х годов, творчество Жерома заметно слабеет, так что за последние десятилетия XIX века можно указать лишь на три его произведения, вполне достойные приобретенной им ранее репутации: «Rex Tibicen» (Фридрих Великий; 1874), «Серое преосвященство» (1874) и «Мусульманский монах у дверей мечети» (1876).
Во всех восточных жанрах знаменитого художника поражает изящная и добросовестная передача климата, местности, народных типов и малейших частностей бытовой обстановки, изученных им при неоднократном посещении Египта и Палестины; в то же время, в его картинах классической древности можно видеть не столько греков и римлян, сколько людей новейшего времени, француженок и французов, разыгрывающих пикантные сцены в античных костюмах и среди античных аксессуаров.
Рисунок у Жерома — безукоризненно-правильный и выработанный во всех подробностях; письмо — тщательное, не сухое; колорит — не блестящий, несколько сероватый, но чрезвычайно гармоничный; особенно мастерски владеет художник освещением. В последние десятилетия XIX века он пробовал свои силы также в скульптуре. Посетители Парижской всемирной выставки 1878 останавливали свое внимание на двух вылепленных им группах: «Гладиатор» и «Анакреон с Бахусом и Амуром».