Выходец из семьи военного инженера и дворянина. Ученик Рудольфа Самойловича — известного советского полярного исследователя, организатора Арктического института, участника и руководителя двадцати одной экспедиции на Крайний Север, в том числе похода ледокола «Красин», предпринятого в 1928 году для спасения экспедиции Умберто Нобиле.
Пятнадцатилетним подростком поступил в 1920 году в руководимую Самойловичем Северную научно-промысловую экспедицию (впоследствии положившую начало Арктическому научно-исследовательскому институту). К тридцати годам его уже считали сложившимся учёным в географии и геологии, гляциологии и мерзлотоведении, океанологии и геохимии. Высоко оценивали молодого учёного академики В. И. Вернадский и А. П. Карпинский, профессор и адмирал Н. Н. Зубов. Одним из первых М. Ермолаев начал изучать геологию берегов, шельфа и глубин Северного Ледовитого океана, ввёл в мерзлотоведение понятие «термокарст», первым всерьёз занялся ледниками Арктики.
За экспедицию 1932—1933 годов, помощь голодающим новоземельским охотникам и спасение жизни германского учёного, работавшего в группе Ермолаева по программам Второго Международного полярного года, был награждён орденом Трудового Красного Знамени.
В 1938 году был репрессирован, приговорён к двенадцати годам лагерей. Во время пребывания в северных лагерях предложил оригинальный метод прокладки рельсов и шпал в условиях вечной мерзлоты. 7 апреля 1953 года был освобождён по амнистии, 5 января 1955 года — полностью реабилитирован.
Преподавал на географическом факультете Ленинградского государственного университета.
В 1971 году основал кафедру географии океана на географическом факультете Калининградского государственного университета. Работал заведующим этой кафедрой до 1983 года, затем вернулся в Ленинград. В 1972—1975 годах одновременно был проректором университета по научной работе.
За учебник «Введение в физическую географию» награждён Золотой медалью Географического общества СССР.
Умер в Санкт-Петербурге 24 ноября 1991 года. Похоронен на Берёзовой аллее Серафимовского кладбища рядом с могилой жены Марии Эммануиловны, умершей в 1982 году, и её отца исследователя Арктики Эммануила Тизенгаузена (1881—1940).
В честь М. М. Ермолаева названы мыс, остров, бухта и гора на островах Новая Земля.
В Поморском государственном университете проводятся Ермолаевские научные чтения.