Хосе Пекерман родился в городе Вилья-Доминго в еврейской семье иммигрантов с Украины. Когда Хосе было 12 лет, его семья перебралась в Буэнос-Айрес. Футбольную карьеру начал в молодёжной команде клуба «Архентинос Хуниорс», в которой в разные годы играли Диего Марадона, Хуан Рикельме и Серхио Агуэро. 12 июля 1970 года дебютировал в основном составе взрослой команды. Затем выступал за колумбийский клуб «Индепендьенте Медельин». Из-за травмы колена завершил карьеру игрока в возрасте 28 лет.
Первым клубом, в котором работал Пекерман, был «Чакарита Хуниорс», а затем он 10 лет проработал в родном клубе «Архентинос Хуниорс». После этого работал тренером чилийской команды «Коло-Коло». Во всех трёх клубах он работал с молодёжью. С 1994 по 2001 г. был тренером молодёжной сборной Аргентины. В 2003 году работал в испанском клубе «Леганьес». В 2007 году Пекерман возглавил мексиканский клуб «Толука». В том сезоне «Толука» заняла второе место. В мае 2008 года, после того, как команда заняла пятое место в чемпионате Мексики, Пекерман ушёл в отставку.
Пекерман был координатором сборной Аргентины на чемпионате мира 2002 г. После ухода в отставку Марсело Бьельсы был назначен главным тренером сборной Аргентины. Под руководством Пекермана сборная Аргентины заняла второе место на Кубке Конфедераций 2005, а затем завоевала путёвку на чемпионат мира 2006 г. в Германии. В своей группе сборная Аргентины разгромила сборную Сербии со счётом 6:0, а в 1/8 финала победила сборную Мексики со счётом 2:1. В четвертьфинале аргентинцы проиграли хозяевам чемпионата, немцам, по пенальти. После этого Пекерман был отправлен в отставку.