Джонсон впервые заявил о себе после финала Professional Players Tournament (Гран-при), когда проиграл Тони Ноулзу, 8:9. В 1985 он достиг полуфинала на Mercantile Credit Classic и, благодаря ещё нескольким успешным выступлениям, попал в Tоп-16. В 1986 Джо, на которого принимались ставки 1:500, сотворил самую большую сенсацию на чемпионате мира, выиграв его. Причём в финале он нанёс поражение легенде снукера — Стиву Дэвису. Более того, Джо добрался до решающего матча на ЧМ следующего года, но Дэвис всё же возвратил себе утраченное звание. Однако, по итогам сезона Джонсон поднялся до рекордной, 5-й строчки в рейтинге.
Тем не менее, Джонсон провёл сезон 1987/88 очень хорошо, победив на втором рейтинговом турнире — Scottish Masters. Кроме того, он достиг полуфиналов на чемпионате Британии и Мастерс. Но впоследствии Джо приходилось всё сложнее побеждать из-за болезни сердца и ухудшения зрения. Хотя он выиграл нерейтинговый European Grand Prix, в дальнейшем англичанин только терял свою игру. За оставшиеся 14 лет его карьеры Джонсону удалось несколько раз выйти в 1/4 финала, и в конце концов в 2004 году он покинул мэйн-тур. Сейчас Джо комментирует снукер на канале Евроспорт, а также занимается пением. А в 2010 году он стал одним из организаторов возобновлённого чемпионата мира среди ветеранов.
Джонсон считался самым неудачным игроком на телевизионных соревнованиях в своё время, из-за чего не мог полностью реализовать свой талант. Но несмотря на это, он остаётся одним из самых узнаваемых игроков 1980-х.