Ферра родился в Вокрессоне, департамент О-де-Сен. Он был младшим из четырех детей в скромной семье, переехавшей в 1935 году в Версаль. Учился в Колледже Жюля Ферри. Его отец, еврей из России, уроженец Екатеринодара, в 1942 году был отправлен в Освенцим, где умер. Ферра был вынужден бросить учёбу, чтобы обеспечить семью.
В начале 1950-х он начал выступать в парижских кабаре, но вскоре предпочел отойти от какого-либо музыкального стиля, оставаясь верным лишь своим ощущениям, друзьям и слушателям.
В 1956 году Ферра положил на музыку поэму своего любимого поэта Луи Арагона — «Les yeux d’Elsa» («Глаза Эльзы»). В исполнении популярного артиста Андре Клаво это произведение принесло начинающему композитору некоторую известность.
Свой первый сингл Ферра записал в 1958 году, но успеха не имел. Признание пришло только в 1959, когда за дело взялся Жерар Мейс, ставший впоследствии близким другом и партнёром Жана. Ферра подписал контракт с Decca Records и выпустил в 1960 году второй сингл, «Ma M?me».
В 1961 Ферра женился на Кристин Севре, певице, исполнявшей некоторые его песни. Он также познакомился с Аленом Горагером, который стал аранжировщиком его музыки. В том же году вышел дебютный альбом музыканта, Deux Enfants du Soleil. Также Ферра писал песни для Зизи Жанмер, с которой гастролировал в течение полугода.
Альбом Nuit et Brouillard, вышедший в 1963 году, получил гран-при Академии имени Шарля Кро. В 1965 Ферра снова отправляется в турне, но с 1973 года прекращает от выступления на сцене.
В 1990 году Жан Ферра получил награду французского Общества авторов, композиторов и музыкальных редакторов ((SACEM).
В 2010 году, после продолжительной болезни, Жан Ферра скончался в возрасте 79 лет.
Дидье Сезар (псевдоним Дитер Кайзер), бельгийско-немецкий певец, перевёл несколько песен Ферра на немецкий язык.