Джон Гилберт родился 10 июля 1897 года в городе Логан, штат Юта, США, в семье театральных актёров. Дебютировал на киноэкране в 1915 году в возрасте восемнадцати лет — в историческом фильме о Гражданской войне между Севером и Югом под названием «Трус». Далее на протяжении пяти лет снимался на второстепенных и эпизодических ролях, успев появиться в сорока пяти фильмах. В 1921 году кинокомпания Fox Film Corporation заключила с Джоном контракт сроком на три года, после чего ему стали предлагать главные роли, в основном романтических героев.
Карьера Гилберта развивалась быстрыми темпами. В 1924 году он перешел в MGM и стал одним из ведущих актёров киностудии. Наиболее успешными работами того периода для него стали фильмы «Его час» (1924, режиссёр Кинг Видор), «Тот, кто получает пощёчины» (1924) и «Весёлая вдова» (1925, режиссёр Эрих фон Штрогейм). Далее актёр вновь снялся у Видора в эпической военной мелодраме «Большой парад» — картина снискала большой успех у публики и заняла второе место среди немых фильмов по сборам в прокате. Эта работа стала переломной в карьере Гилберта, и в 1926 году он закрепил своё положение, снявшись вместе с Лиллиан Гиш в мелодраме «Богема».
В том же году последовал фильм — мелодрама с любовным треугольником — «Плоть и дьявол», в котором с ним в паре впервые играла Грета Гарбо. На съёмках между актёрами вспыхнул роман, который едва не закончился браком. Впоследствии Гилберт и Гарбо снялись вместе ещё в двух картинах. На протяжении всего своего пребывания в MGM Гилберт неоднократно входил в конфликт с руководителями студии. Однажды дело дошло до рукоприкладства — в 1927 году, когда Гарбо бросила Гилберта прямо у алтаря, Луис Б. Майер отпустил на этот счёт грубое замечание, и актёр в ответ на это ударил магната. После этого инцидента карьера Гилберта пошла на спад, несмотря на поддержку Ирвина Талберга — друга актёра, занимавшего один из ключевых постов в MGM.
В 1929 году Гилберт дебютировал в звуковом кино, снявшись в знаменитом музыкальном фильме «Голливудское ревю 1929 года», где наряду с ним были задействованы такие голливудские звезды, как Норма Ширер, Бастер Китон, Бесси Лав и другие. Но, несмотря на успешное вступление в звуковую эпоху, карьера актёра продолжала неуклонно стремиться к закату, в основном из-за того, что ему поручали невыигрышные, а иногда и откровенно нелепые роли. Первая крупная неудача постигла его в 1929 году после фильма «Его великолепная ночь». Там были настолько слабые диалоги, а пылкость героя Гилберта настолько чрезмерна, что по мнению публики фильм больше смахивал на плохую комедию, нежели на трагическую мелодраму. Хотя последующие работы актёра были более ровными, Гилберт так и не смог до конца отправиться после такого унизительного провала.
В 1932 году Гилберт снялся в картине «Вниз по лестнице» по собственному оригинальному сценарию. Фильм получил положительную оценку критиков, но не сумел вернуть былую популярность актёра. Далее он появился в мелодраме 1934 года «Королева Христина», где Грета Гарбо вновь составила с ним дуэт. Эта работа стала его последним значительным фильмом. К тому времени он начал много пить. Алкоголизм серьёзно подорвал его здоровье, и 9 января 1936 года Джон Гилберт скончался в Лос-Анджелесе, приняв дозу снотворного и подавившись собственным языком во сне.
Джон Гилберт был четыре раза женат, но все его браки были недолговечными и через пару лет заканчивались разводом. В промежутках между ними Гилберт заводил романы с коллегами по цеху. Так известно, что он состоял в романтических отношениях с актрисами Барбарой ла Марр и Биби Дениэлс. Кроме того его возлюбленными были знаменитые Грета Гарбо — она собиралась за Гилберта замуж, но скандально бросила его прямо у алтаря — и Марлен Дитрих, которая была с актёром в последние два года его жизни. Все четыре супруги Гилберта тоже были актрисами: