Джозеф Витерелли родился в семье итальянских иммигрантов в Бронксе. Прежде чем стать актёром, Витерелли был бизнесменом в Нью-Йорке. Вскоре он подружился с актёром и режиссёром Лео Пенном (отец актёра Шона Пенна), который вначале пытался, но не убедил Витерелли к актёрской карьере из-за своей уникальной внешности. Несколько лет спустя, Шон Пенн вновь попросил Витерелли попробовать себя в роли, как об одолжении. Витерелли согласился и продолжал появляться в более чем 40 фильмах.
Джо Витерелли скончался 28 января 2004 года в Лас-Вегасе, штат Невада, в связи с тяжелой формой кровоизлияния желудка из-за осложнения после только что завершившейся операции на сердце. Ему было 66 лет.