Певец был младшим сыном государственного служащего Гарольда Кокера, проживавшего в Шеффилде. Из-за финансовых затруднений Джо рано оставил школу и пошел работать помощником монтера. Однако в 1961 г. он начал карьеру певца в небольших пабах Шеффилда, выступая под псевдонимом Vance Arnold в составе группы «The Avengers». В состав репертуара входили в основном песни Чака Берри и Рэя Чарльза.
В 1963 году, Кокер и его команда выступили на сцене Шеффилдского сити-холла перед концертом «Rolling Stones». По словам очевидцев, их выступление было очень убедительным.
В 1966 году, Джо Кокер вместе с Крисом Стейнтоном (Chris Stainton) создали группу «Grease Band» и часто выступали в Шеффилде а также гастролировали по северу Англии, играя негритянский ритм-энд-блюз и соул.
В 1968 году записал собственную версию битловской «With a Little Help from My Friends», которая в ноябре достигла вершины национального хит-парада продаж.
Весной 1969 года, «Grease Band» отправились в свой первый тур по США. Альбом «With A Little Help from my Friends» был выпущен вскоре после прибытия в Америку, и занял 35-е место в американских чартах. В августе 1969 года его выступление стало одним из гвоздей фестиваля в Вудстоке. В следующем году певец гастролировал по Америке. За 56 дней, вместе со своей свитой, состоящей из более сорока человек, Кокер объездил 48 городов и дал 52 концерта.
В 1970-е гг. Кокер испытывал проблемы с репертуаром, в котором преобладали перепевки песен других исполнителей. Кроме того, он пристрастился к наркотикам и алкоголю, регулярно появляясь на сцене в состоянии лёгкого подпития. По причине злоупотребления алкоголем его некогда мощный голос превратился в предельно хриплый баритон. Это не помешало ему в 1982 г. в дуэте с Дженнифер Уорнс (англ.) покорить американские чарты с медленной балладой «Up Where We Belong», за которой последовали другие песни в аналогичном стиле. Песня «Up Where We Belong» прозвучала в фильме Офицер и джентльмен, и была номинирована на премию Оскар. Кокер был одним из немногих вудстоковских ветеранов, который выступил (и с успехом) на Woodstock '94.