Джек Гилфорд, урождённый Джекоб Аарон Гелманн (англ. Jacob Aaron Gellman), родился и вырос в Нью-Йорке. Его родители, Софи и Аарон Геллманы, были еврейскими иммигрантами, которые прибыли в США из Румынии. В юности он работал в аптеке, где его и обнаружил его протеже Милтон Берл. Вскоре начинающий актёр стал принимать участие в любительских театральных постановках, а затем в его репертуаре появились пародийные номера и юмористические импровизации. В конце 1930-х он работал в качестве конферансье в одном из ночных клубов Нью-Йорка, где положил начало юмористическим монологам, традицию исполнения которых позже подхватили Ленни Брюс и Вуди Аллен. Одной из особенностей выступлений Гилфорда было использование пантомимы, которую он мастерски демонстрировал в театральных постановках и на телевизионных шоу.
Карьера Гилфорда была подорвана в 1950-х годах во времена эры Маккарти, из-за того, что актёр был довольно активен в политическом плане, выступал за социальные перемены, интеграцию и поддерживал профсоюзы. Вместе с супругой, актрисой Мадлен Ли Гилфорд, он фигурировал в списках Комиссии по расследованию антиамериканской деятельности, неоднократно испытывал с её стороны преследования, а в 1955 году вызывался в Комитет палаты представителей для дачи показаний. На протяжении всего десятилетия Гилфорду с супругой тяжело было найти работу, и им неоднократно приходилось занимать деньги, чтобы свести концы с концами.
С окончанием эры Маккарти Джек Гилфорд вновь стал востребован как актёр на театральной сцене, телевидении и в кино. Ему удалось добиться успеха в основном за счёт своих ролей на Бродвее. На телевидении запоминающимися стали его появления в сериалах «Такси», «Мыло» и «Золотые девочки» и «Напряги извилины». За годы своей карьеры Джек Гилфорд становился лауреатом множества различных премий и наград. Он дважды становился номинантом на премию «Тони» (в 1963 и 1967 годах), а в 1973 году выдвигался на «Оскар» за лучшую мужскую роль второго плана в фильме «Спасите тигра». На большом экране Джек Гилфорд также запомнился по роли ворчливого старика Бернарда Лефковитца в фантастическом фильме «Кокон» (1985), а затем и в его сиквеле «Кокон 2: Возвращение» (1988).
В 1990 году, после трёх лет борьбы с раком желудка, Джек Гилфорд умер в своём доме в Гринвич-Виллидж в возрасте 81 года. Его супруга, Мадлен Ли Гилфорд, умерла в апреле 2008 года.