Окончил медицинский факультет в Банги.
В 1957—1958 гг. — вице-президент, затем председатель Правительственного Совета.
В марте-апреле 1959 г. — премьер-министр ЦАР, отстранен от власти Давидом Дако.
В 1960—1980 гг. находился в изгнании во Франции. В это время в 1970-х гг. он работал в программах Всемирной организации здравоохранения в Руанде и Бенине.
Даже после его возвращения Центрально-африканскую Республику, он периодически арестовывался за политическую деятельность и до 2003 г. враждовал со всеми президентами этой страны, которые объявляли Гумбу предателем национальных интересов.
Четырежды являлся кандидатом на президента Центрально-Африканской Республики (1981, 1993, 1999 и 2005).
В марте-декабре 2003 г. — премьер-министр,
в 2003—2005 гг. — вице-президент ЦАР.
В 2006 г. являлся посредником на переговорах между правительством и мятежниками, выступившими против президента Франсуа Бозизе.