Родился в Муллингаре. Рано начал работать так как его родители умерли а ему приходилось кормить своих четырёх братьев и трёх сестёр. Работал наборщиком в местной газете, тогда же попробовал создать свою первую группу «The Drifters». Песней, которая принесла ему первый большой успех, стала «Make Me An Island», которая поднялась до 3 места в английском чарте за 1969 году и захватила первые места еще в 14 других странах. Джо стал очень популярным в Ирландии и среди ирландских эмигрантов в других странах. В 1978 году он стал первым западным певцом, который побывал в Советском Союзе. В 1997 году он перезаписал свою песню «Good Looking Woman» и она заняли первые места в ирландских чартах. В 1998 и 1999 годах выпустил 2 альбома каверверсий песен таких исполнителей как Oasis, U2 and Брюс Спрингстин.
Умер 26 декабря 2007 года от кровоизлияния в мозг.