Жан-Пьер Марьель родился в городе Дижон, в семье промышленника и портнихи. Его первый актёрский опыт состоялся во время учёбы в средней школе. Там он со своими товарищами играл в пьесах Антона Павловича Чехова. Он первоначально хотел изучать литературу, но один из его учителей настоял на том, чтобы он стал актёром и поступил в «Высшую национальную консерваторию драматического искусства» (фр. ). В Национальной консерватории он познакомился с Жаном-Полем Бельмондо и Жаном Рошфором. После нескольких спектаклей в Комеди Франсез он переходит в Компанию Гренье-Юссено (фр. La compagnie Grenier-Hussenot).
Он начал играть в маленьких ролях в кино, начиная с 1957 года — «Большой блеф», «Все хотят меня убить». Мало довольный своим кинематографическим опытом, он возвращается к театральным подмосткам и кабаре, играя рядом с Ги Бедо (фр. ) — французским комедийным актёром, сценаристом и певцом.
В 1960-е годы получает всё больше главных ролей. На широкие экраны выходят «Банановая кожура», «Уик-энд на берегу океана» режиссёра Анри Вернёя и «Дьявола за хвост».
В 1970-х годах он сыграл в большом количестве комедий. В 1973 году он играет одного из главных персонажей в комедии Жоржа Лотнера «Дипломатический багаж». Сыграл в фильмах «Пусть начнётся праздник», «Безупречная репутация», показав высокий уровень актёрской игры.
В фильме «Большое турне» он снялся вместе с Жаном Рошфором и Филиппом Нуаре.
Жан Марьель с октября 2003 года женат на французской актрисе Агат Натансон (фр. ), у него есть сын от предыдущего брака.
Его супруга — французская актриса Агат Натансон (фр. ) известна российскому зрителю по роли в фильме «Оскар», где главные роли исполнили Луи де Фюнес, Клод Риш и Клод Жансак. В этом фильме она сыграла дочь Бертрана Барнье (Луи де Фюнес) — Колетт Барнье.