Был шестым ребёнком в бедной еврейской семье. В годы Первой мировой войны воевал на Восточном фронте, где попал в плен, и вступил в Компартию Венгрии.
Для его режима были характерны проводимые службой госбезопасности AVH политический террор против сил внутренней контрреволюции и преследование оппозиции (так, был обвинён в «титоизме» и ориентации на Югославию, а затем казнён бывший министр внутренних дел Ласло Райк).
При нём происходила национализация экономики и ускоренное кооперирование сельского хозяйства.
Ракоши называл себя «лучшим венгерским учеником Сталина», копируя сталинский режим в мельчайших деталях, вплоть до того, что в последние годы его правления венгерская военная форма была скопирована с советской, а в магазинах Венгрии начали продавать ржаной хлеб, который ранее в Венгрии не ели.
С конца 1940-х гг. развязал кампанию против сионистов, устранив при этом своего политического конкурента — министра внутренних дел Ласло Райка.
В 1952 году Ракоши также занял должность премьер-министра Венгрии, однако в 1953 году под давлением советского руководства передал этот пост Имре Надю. После доклада Хрущёва на ХХ съезде КПСС Ракоши был снят с должности генерального секретаря ЦК ВПТ (вместо него эту должность занял Эрнё Герё). Вскоре после восстания в Венгрии 1956 г. был вывезен в СССР, где после Москвы жил в киргизском Токмаке и Арзамасе, а потом в г. Горький. В 1970 году ему было предложено отказаться от активного участия в венгерской политике в обмен на возвращение в Венгрию, но Ракоши отказался.
Был женат на Феодоре Фёдоровне Корниловой, уроженке Якутии.