До 1965 года выступал среди любителей. В 1964 году на Олимпиаде в Токио 20-летний Джо выиграл золото в супертяжёлой весовой категории, победив в полуфинале советского боксёра Вадима Емельянова, а в финале — немца Ханса Хубера со счётом 3-2. Профессионалом стал в августе 1965 года.
В сентябре 1966 года раздельным решением судей победил Оскара Бонавену. Фрейзер дважды побывал в нокдауне во 2-м раунде.
В июле 1967 года в 4-м раунде нокаутировал Джорджа Чувало.
В декабре 1968 года состоялся второй бой между Фрейзером и Оскаром Бонавеной. На этот раз Фрейзер победил единогласным решением судей.
В сентябре 1969 года в 7-м раунде техническим нокаутом победил Джерри Квари. Поединок получил статус «бой года» по версии журнала «Ринг».
В феврале 1970 года состоялся бой между Фрейзером и чемпионом мира в тяжёлом весе по версии WBA Джимми Эллисом. На кону также стоял вакантный титул чемпиона мира в тяжёлом весе по версии WBC. Фрейзер нокаутировал чемпиона в 5-м раунде.
В ноябре состоялся бой между Фрейзером, владеющим в тот момент титулом абсолютного чемпиона мира в тяжёлом весе, и абсолютным чемпионом мира в полутяжёлом весе Бобом Фостером. Фрейзер нокаутировал противника во 2-м раунде.
В марте 1971 года Фрейзер вышел на ринг против бывшего чемпиона мира в тяжёлом весе Мохаммеда Али. Впервые в истории тяжелого веса в чемпионском бою бились два небитых чемпиона — один бывший, другой действующий. Фрезер обладал хорошей скоростью и смог противостоять Али. В 15-м раунде он отправил в красивый нокдаун бывшего чемпиона (3-й в карьере Али). Али впервые проиграл. Поединок получил статус «бой года» по версии журнала «Ринг».
В январе 1972 года в 4-м раунде нокаутировал Терри Дэниелса.
В мае он в 5-м раунде нокаутировал Рона Стэндлера.
В январе 1973 года состоялся бой между двумя непобеждёнными боксёрами — Фрейзером и Джорджем Форманом. Фрейзер трижды побывал в нокдауне в первом раунде, и трижды во втором. Форман победил техническим нокаутом во 2-м раунде. Поединок получил статус «бой года» по версии журнала «Ринг».
В июле победил по очкам Джо Багнера.
В январе 1974 года состоялся второй бой Фрейзера против Мохаммеда Али. В этот раз Али победил по очкам.
В июне состоялся второй бой между Фрейзером и Джерри Квари. Фрейзер нокаутировал противника в 5-м раунде.
В марте 1975 года состоялся 2-й бой между Фрейзером и Джимми Эллисом. Фрейзер нокаутировал противника в 9-м раунде.
В сентябре состоялся третий бой между Фрейзером и Мохаммедом Али. Бой проходил при невероятной жаре — более 30 градусов. Это был упорный и агрессивным бой с интригой до самого конца: Али и Фрейзер устроили настоящий мордобой. С первого по пятый раунд, преимущество было за Али, с шестого по 11-тый Фрэйзер «избивал» Али, после очередного раунда Али сказал «Я кажется умираю». После 14-го раунда судья остановил поединок — Фрейзер, будучи слепым на левый глаз, практически не видел правым(тренер показал три пальца и попросил их сосчитать, Фрейзер ответил «один»). В то же время в своем углу Али просил снять перчатки («я очень устал, снимите с меня перчатки») и, по версии своего врача, на 15-й раунд выйти бы не смог. После окончания боя Мохаммед встал и упал без сознания в своём углу. В чью пользу закончился бы бой, если б тренер Фрейзера не остановил его, остаётся вопросом. После этого боя Али назвал Фрейзера лучшим боксером после себя и сказал что он его очень сильно недооценивал. Поединок получил название «Триллер в Маниле (Trilla in Manila)» и статус «бой года» по версии журнала «Ринг».
В июне 1976 года состоял второй бой между Фрейзером и Джорджем Форманом. Фрейзер проиграл нокаутом в 5-м раунде. После этого боя он не выходил на ринг 5 лет.
В декабре 1981 года вернулся в бокс. Он вышел на ринг против малоизвестного Флойда Каммингса. По итогам 10-ти раундов судьи дали спорную ничью. После этого боя Фрейзер ушёл из бокса.
В 1994 году снялся в фильме «Обитель ангелов» (англ. Home Of Angels).
В 2011 году Джо Фрейзеру диагностировали рак печени в одной из последних стадий. Об этом печальном известии публике сообщил менеджер «Дымящегося Джо» Лесли Вульф.
7 ноября 2011 года Джо Фрейзер скончался в хосписе Филадельфии.