Родился в селении Нью Лук, пригороде Питерсбурга (современный Полокване) в бедной рабочей семье. Его мать и отец подолгу уезжали на заработки в Йоханнесбург, где сменили множество профессий от шахтёра до прислуги. Помимо Питера в семье было две дочери и ещё один сын, и бремя воспитания нового поколения легло на деда.
Поскольку семья Мокабе исповедовала католицизм, то в четырёхлетнем возрасте он был отправлен в католическую подготовительную школу Полокване.
В 1968 по требованию правительства все африканские резиденты пригорода Нью Лук были переселены в бантустан Манквенг, но даже в Манквенге семья Мокабе была одной из беднейшей и оказалась в положении сквоттеров. Для заработка денег им пришлось заняться нелегальной продажей алкоголя, что привело к преследованиям со стороны полиции.
Будучи старшеклассником, Питер стал одним из лидеров волнений учащихся на севере страны. Спасаясь от преследований властей, он несколько месяцев прятался в горах, пока в ноябре 1977 года не был схвачен. Попытка инкриминировать ему разжигание насилия провалилась, так как ни один из 28 свидетелей суда не дал показаний против него. Правительство ограничилось лишь исключением Мокаба из школы.
Для продолжения учёбы ему пришлось трудиться разнорабочим, и в 1978 г. он всё-таки получил аттестат об окончании школы. В период между окончанием школы и поступлением в университет Мокаба преподавал математику и естественные науки в городе Мория.
В 1982 г. Мокаба был арестован во второй раз. Теперь ему вменялось членство в АНК, хранение оружия, прохождение военных курсов в Мозамбике и Анголе, а также привлечение в АНК новых членов. Суд приговорил молодого активиста к шести годам заключения в печально известной тюрьме на острове Роббен, однако по решению Апелляционного суда он был освобождён через год. Сразу же после освобождения Мокаба был арестован в третий раз и приговорён к трёхлетнему сроку с отсрочкой на пять лет.
В 1985 г. его избрали президентом Молодёжного конгресса Манквенга (Makweng Youth Congress). Наибольшее внимание Мокаба в этот период занимали вопросы образования чернокожего населения Трансвааля и сплочения оппозиции на севере страны. В сер. 1980-х гг. он стал одним из наиболее известных борцов с апартеидом, что привело к его избранию президентом Южноафриканского молодёжного конгресса (South African Youth Congress). Первый нелегальный созыв конгресса произошёл в Кейптауне в 1987 г.
В 1988 г. состоялся четвёртый судебный процесс, на этот раз по обвинению в террористической деятельности, но Мокаба был оправдан, в отличие от своих соратников. Власти вновь не смогли добиться показаний от его товарищей. Согласно автобиографии Мокаба после суда началась травля активиста, инспирированная полицией и включавшая даже подрыв дома.
В 1991 г. Мокаба стал членом Национального исполнительного совета АНК, что в дальнейшем открыло ему дорогу к государственным постам. Он приобрёл популярность у городской молодёжи, в том числе как автор лозунга «Убей бура, убей фермера!», появившегося в ответ на убийство одного из лидеров АНК и генерального секретаря Компартии ЮАР Криса Хани ультраправым радикалом.
С приходом к власти Нельсона Манделы Мокаба работал заместителем министра окружающей среды и туризма, был депутатом парламента. Мокаба входил в окружение Винни Манделы, влиятельной жены южноафриканского лидера. Мокаба возглавлял подготовку АНК к грядущим выборам 2004 г., но скоропостижно скончался в 2002 г.
Согласно распространённому мнению, причиной гибели политика стал СПИД, хотя сам Мокаба наличие СПИДа отрицал. Более того, он отказывался признавать существование ВИЧ как такового и называл антиретровирусные лекарства против СПИДа «отравой». По словам докторов, Мокаба умер от острой пневмонии.