Михай Гимпу родился 19 ноября 1951 года в селе Колоница Кишинёвского района Молдавской ССР. По его словам он — румын. Закончил Кишинёвский государственный университет, по специальности юрист, работал адвокатом и шефом адвокатского бюро «Кредо». В 1978—1990 годах Гимпу работал юристом, возглавлял юридические отделы различных предприятий, а также являлся судьёй одного из административных секторов Кишинёва.
В конце 1980-х годов он стал одним из основателей Народного фронта Молдовы (НФМ). В 1990 году был избран в парламент и вошёл во фракцию Народного фронта. Покинул организацию в 1993 году. В 1994 году был избран членом молдавского парламента от Блока крестьян и интеллигенции. В 1997 году Гимпу возглавил созданную в 1993 году Партию Реформ (ПР). В апреле 2005 года партия изменила своё название и стала именоваться Либеральной партией Молдавии (ЛП). С 2007 по 2008 год являлся председателем муниципального совета Кишинёва.
Его племянник — Дорин Киртоакэ является примаром (мэром) Кишинёва.
28 августа 2009 года Михай Гимпу был избран спикером парламента Молдавии. Его кандидатура была одобрена всеми четырьмя партиями, входящими в альянс «За европейскую интеграцию» (АЕИ). Избрание председателя нового парламента проходило без 48 депутатов от правящей в Молдавии с 2001 года Партии коммунистов (ПКРМ). Представители Коммунистической партии сочли проведение заседания и избрание спикера незаконным и подали заявление в Конституционный суд. 8 сентября Конституционный суд Молдавии признал законным избрание Михаила Гимпу спикером парламента, отклонив жалобу Коммунистической партии.
11 сентября 2009 года президент Молдавии Владимир Воронин подал в отставку. В тот же день Михай Гимпу стал и. о. президента Молдавии. 17 сентября он издал указ, отменяющий визовый режим с Румынией, введённый прежним президентом. В вопросе урегулирования приднестровского конфликта Гимпу потребовал безоговорочного вывода из Приднестровья российских войск. В начале ноября 2010 года Михай Гимпу отправил генеральному секретарю НАТО Андерсу Фог Расмуссену письмо с просьбой помочь заставить Москву вывести свои войска из Приднестровья, поскольку по его мнению российские войска являются «не только постоянным источником угрозы безопасности Молдовы, но и подпитывают приднестровский сепаратизм».
Отказался участвовать в Параде Победы в Москве 9 мая 2010 года, мотивируя это тем, что «побеждённым там делать нечего».
24 июня 2010 года Михай Гимпу подписал указ о назначении 28 июня 1940 года днём советской оккупации, постановил сделать эту дату Днём памяти жертв советской оккупации и тоталитарного коммунистического режима, ежегодно проводить траурные мероприятия с приспущиванием государственных флагов Молдавии, установить на центральной площади города памятник жертвам советской оккупации. Также в тексте указа и. о. президента отмечает, что Россия, как правопреемница СССР, должна незамедлительно и безоговорочно вывести войска и вооружения, расположенные на территории самопровозглашённой Приднестровской Молдавской Республики. Указ вызвал неоднозначную реакцию среди населения и политиков Молдавии. Однако Конституционный суд Молдавии признал указ незаконным и упразднил данное постановление. Эти реформы вызвали протесты в Молдавии.
Про свою принадлежность и взгляды Михай Гимпу говорит: «Я румын, я унионист». В интервью газете «Коммерсантъ» он заявил: «Румыния — не просто сосед. Мы один народ, но два государства». В одном из популярных телешоу молдавского телевидения «Поздним вечером с Дорином Скобиуалэ» ведущий задаёт вопрос: «Михаил, вы не раз говорили, что можете на глаз отличить родную румынскую землю. У меня для вас провокационный вопрос: в каком она горшочке?», после чего Гимпу безошибочно определил, в каком горшочке — земля из Румынии.
В одном из выступлений в декабре 2009 года Гимпу заявил: «Всю жизнь я знал, на каком языке разговариваю, может быть, за исключением первых месяцев жизни. Всегда разговаривал по-румынски и писал латинской графикой. Я не могу сказать, что являюсь дако-славянином, если я дако-римлянин».
Тем не менее, в своем интервью «Комсомольской правде», данное им в феврале 2010 года, Гимпу сделал заявление, что румынский язык вовсе не означает объединения с Румынией, как испанский язык на Кубе не означает объединения Кубы с Испанией и что идеи об объединении ему приписывают политические спекулянты.
Женат.
Брат Михая Гимпу — Георге, являлся советским диссидентом, приговорённым в 1972 году к шести годам лишения свободы за антисоветскую деятельность, выступал также за объединение Молдавии и Румынии. Михай Гимпу позднее в должности и.о. президент указом о награждении "борцов против тоталитарного коммунистического оккупационного режима" посмертно наградит своего брата Орденом Республики.
Племянник — Дорин Киртоакэ в 2007 году в результате победы на выборах стал примаром (мэром) Кишинёва. В 2011 повторно победил на выборах, оставшись в должности генерального примара на второй срок.