В институтские годы Джо образовал группу Ezra, которая исполняла свои собственные песни, а также каверы Jimi Hendrix, Free и Deep Purple. В 1976 году Тёрнер добился своего по-настоящему первого успеха с Fandango, группой, которая играла смесь R&B, поп-музыки, кантри, джаза и мелодичного рока. Тёрнер пел и играл на гитаре на всех четырёх альбомах группы. Fandango гастролировала с разными артистами, в том числе The Allman Brothers, The Marshall Tucker Band, The Beach Boys и Billy Joel.
После распада Фанданго Тёрнеру позвонил легендарный гитарист Deep Purple и Rainbow Ричи Блэкмор. На прослушивании Blackmore был так восхищён, что сразу же включил Джо в состав Rainbow.
До того, как Тёрнер присоединился к Rainbow, эта группа была популярна в Европе и Японии, однако не достигла такой же популярности в США. Благодаря вкладу Тёрнера в музыку группы (как многие[кто?] считают, музыка стала более попсовой), Rainbow, наконец, достигла популярности в США. В начале и середине 80-х гг. несколько песен с альбомов Rainbow с участием Тёрнера достигли Топ-20 в чартах различных радиостанций. «Stone Cold» стала первым хитом группы, попавшим в Топ-40; клипы Rainbow крутились по MTV. Тёрнер записал 3 студийных альбома в составе Rainbow: Difficult to Cure, Straight Between the Eyes и Bent Out of Shape. В 1984 году Rainbow была расформирована, и Блэкмор воссоединился с Deep Purple.
После ухода из Rainbow Джо выпустил сольный альбом Rescue You, спродюсированный Роем Томасом Бэйкером, известному по работе с Queen и The Cars. Большинство песен на альбоме написал сам Тёрнер в соавторстве с клавишником Элом Гринвудом (из Foreigner). Первая песня «Endlessly» в крутилась по радио и MTV. Далее последовало турне с Pat Benatar и роль в фильме Blue Deville.
В 1988 году Джо присоединился к группе Ингви Мальмстина Rising Force и записал с ней успешный альбом Odyssey (1988). Короткий тур в поддержку альбома включал и концерт в Ленинграде, который был записан и издан как Trial by Fire (1989). В 1989 году он ушёл из группы и был приглашён своим бывшим партнёром по Rainbow Ричи Блэкмором заменить Иэна Гиллана в Deep Purple.
Первые пробы Тёрнера в Deep Purple прошли хорошо, но других «классических» участников группы (Гловера, Пэйса и Лорда) эта кандидатура не устраивала. Однако другие кандидаты на место вокалиста подходили ещё меньше, и в конце концов Тёрнер был принят в Deep Purple. Заменив Гиллана, Джо, по собственному выражению, «реализовал мечту всей своей жизни».
С Дип Пёрпл Джо записал альбом Slaves & Masters. Запись была в основном окончена к августу 1990 года. В продажу альбом поступил 5 ноября 1990 года и вызвал противоречивые отклики. Блэкмор был очень доволен пластинкой, но музыкальная критика сочла, что она больше похожа на альбом Rainbow.
7 ноября 1991 года группа собралась в Орландо для работы над следующей пластинкой. Поначалу музыканты, воодушевленные теплым приёмом во время гастролей, были полны энтузиазма. Но вскоре в группе стало нарастать напряжение между Тёрнером и остальными участниками. По словам Гловера, Тёрнер пытался превратить Deep Purple в обыкновенную американскую хэви-метал группу:
Запись нового альбома затягивалась. Аванс, выплаченный звукозаписывающей компанией, подошёл к концу, а запись альбома доведена лишь до середины. Звукозаписывающая компания потребовала увольнения Тёрнера и возвращения в группу Гиллана, грозясь не выпустить альбом. Ричи Блэкмор, прежде относившийся к Тёрнеру уважительно, понимал, что он не может петь в Deep Purple. Блэкмор первым предложил уволить Тёрнера. Позже он так прокомментировал своё решение:
15 августа 1992 года Тёрнеру позвонил менеджер группы Брюс Пэйн и сказал, что он уволен из группы.
После ухода из Deep Purple Джо Линн Тёрнер плодотворно работал над собственными проектами, такими как «Hughes Turner Project» с Гленном Хьюзом (Glenn Hughes) и группой Brazen Abbot болгарского гитариста Николы Коцева. Джо также участвовал в рок-опере Николы Коцева «Nikolo Kotzev's Nostradamus». Кроме того Джо выпустил 3 альбома с группой Mother’s Army. В последние годы Джо принял участие в весьма успешном студийном проекте Sunstorm и работал с японским гитаристом Akira Kajiyama над альбомом Fire Without Flame. Тёрнер был приглашённым певцом в the Voices Of Classic Rock Shows вместе со своим коллегой Гленном Хьюзом. В 2005 году Джо участвовал в качестве приглашённого музыканта в альбоме Blackmore's Night «The Village Lanterne», исполнив бонус-трек Street Of Dreams, который изначально был написан им и Блэкмором ещё во времена их совместного выступления в Rainbow.