Фил Бэбб является воспитанником «Миллуола», но за этот клуб не провёл ни одного матча. В конце концов он подписал контракт с «Брэдфорд Сити» и в составе этого клуба весьма неплохо себя зарекомендовал. В июле 1992 за 500 тысяч фунтов его контракт был выкуплен «Ковентри Сити», а ещё два года спустя талантливого молодого защитника, уже успевшего дебютировать в первой сборной Ирландии, пригласил к себе «Ливерпуль». Сумма трансфера составила 3,6 миллиона фунтов, таким образом, на тот момент Бэбб стал самым дорогим защитником в Англии. В команде Роя Эванса Бэбб, отличавшийся хорошей скоростью и отбором мяча, был основным центральным защитником, однако с приходом в 1998 году на пост тренера Жерара Улье ситуация изменилась. Французский специалист решил отказаться от услуг футболиста, который часто допускал позиционные ошибки и «славился» своей беспечностью, в результате которой нападающие противника нередко лишали его мяча.
В 2000 году Улье отправил Бэбба в аренду в «Транмер Роверс», а потом игрок, у которого истёк срок контракта с «Ливерпулем», в качестве свободного агента перешёл в лиссабонский «Спортинг». По итогам своего второго сезона в этом клубе Бэбб был признан лучшим защитником в Португалии. Российские болельщики хорошо помнят Бэбба по отборочному матчу к Чемпионату Европы 2004 года, который стал для защитника последним в международной карьере. 21 августа 2002 года Мик Маккарти выпустил Фила на поле стадиона «Локомотив» на 85-й минуте встречи при счёте 3:2 в пользу россиян. Бэбб первым же касанием отправил мяч в сетку. К сожалению для него и болельщиков гостей, это были ворота Шея Гивена. Что интересно, в этом матче у ирландцев по одному разу отличились все игроки, вышедшие на замену, вот только Гэри Догерти и Клинтон Моррисон поразили ворота сборной России, а Фил Бэбб — свои.
В том же 2002 году Филл Бэбб вернулся из Португалии в Англию, где стал играть за «Сандерленд». Он достаточно регулярно выходил на поле в течение двух сезонов, пока в 2004 году не завершил карьеру игрока.
В 2006 году Фил вместе с экс-партнёрами по «Сандерленду» Томасом Сёренсеном, Майклом Грэем, Джейсоном Макатиром и Стивеном Райтом помог спасти от банкротства журнал Golf Punk Magazine, посвящённый модной одежде для игры в гольф.