Сын Генриха Либермана, еврейского иммигранта из Польши и Марсии Мангер - еврейки из Австрии. Семья Либерманов владела магазином по продаже спиртных напитков. Либерман учился в Стемфордской высшей школе, где впервые проявил свои лидерские качества. В 1963 поехал со своей первой политической миссией в штат Миссисипи, учить местных негров голосовать. В 1964 закончил Йельский университет со степенью бакалавра по экономике и политике. Затем продолжил учёбу в Йельской школе юристов, которую закончил в 1967.
В 1970 избран в сенат штата Коннектикут как демократ-реформатор, противник вьетнамской войны. На этом посту служил до 1983. С 1983 по 1989 занимал должность генерального прокурора Коннектикута. В 1989 избран в американский сенат от штата Коннектикут.
Во время расследования дела Клинтон-Левински, жёстко критиковал президента, однако проголосовал вместе с коллегами по партии против его импичмента. На партийных выборах 2000 г. избран кандидатом на должность вице-президента от Демократической партии. Стал первым кандидатом иудейского вероисповедания, участвовавшим в президентских выборах от двух крупнейших партий. Гор и Либерман потерпели поражение от республиканских кандидатов Дж. Буша-младшего и Дика Чейни (см. Президентские выборы в США (2000)).
Заявил о своём баллотировании на выборах 2003 г. на должность кандидата от демократической партии на пост президента, однако проиграл внутрипартийные выборы Джону Керри.
В 2006 году проиграл внутрипартийные выборы на пост сенатора, но потом был переизбран как независимый кандидат.
В 2008 году, будучи независимым сенатором, поддержал на выборах президента США кандидата от республиканской партии Джона МакКейна.
Либерман был женат в первом браке на Бетти Хаас с 1965 по 1981, а во втором на Хадассе Фрейлих Туккер. От первой жены Либерман имеет сына и дочь, а от второй дочь.
Существуют данные, что Джо Либерман является родственником Главного раввина России и СНГ от ФЕОР Берла Лазара.