Сын ростовского казённого раввина (в 1863—1888 годах), гласного городской думы Фабиана Осиповича Гнесина и Беллы Исаевны Флетзингер. В 1901—1909 гг. учился в Санкт-Петербургской консерватории по классу композиции, сперва в классе Н. А. Римского-Корсакова, затем у А. К. Лядова (перерыв в занятиях был связан с участием в студенческих волнениях 1905 года). С 1908 года преподавал в музыкальном училище в Екатеринодаре. В 1914—1921 гг. снова в Ростове, руководил музыкальной школой и Народной консерваторией. В 1914 и 1922 гг. ездил в Палестину для изучения музыкального фольклора еврейских общин. С 1923 г. в Москве: преподавал композицию в Музыкальном техникуме, руководимом его сёстрами. В 1925—1936 гг. профессор Московской, в 1936—1944 гг. — Ленинградской консерватории; в 1941—1942 гг. в эвакуации заведовал музыкальной частью Марийского музыкального театра в Йошкар-Оле. С 1944 г. по 1951 гг. заведовал кафедрой композиции Музыкально-педагогического института им. Гнесиных.
В дореволюционный период творчества Михаил Гнесин был близок к деятелям культуры символистского направления. Им были созданы вокальные циклы на стихи Константина Бальмонта и Фёдора Сологуба, симфонический дифирамб «Врубель» на стихи Валерия Брюсова, музыка к трагедиям Софокла и Еврипида в постановке В.Э. Мейерхольда. В 1910—1920-е гг. в творчестве Гнесина сильны еврейские мотивы: среди его произведений этого периода — опера «Юность Авраама» (1923), «Страницы из Песни Песней» (1919), «Пляски галилейских рабочих для оркестра» (1923), вокальный цикл «Повесть о рыжем Мотэле» на стихи Иосифа Уткина (1929), — однако затем педалирование таких мотивов стало в СССР нежелательным, и опера Гнесина «Бар-Кохба» (о восстании евреев против римлян во II веке и его руководителе Бар-Кохбе) осталась незаконченной. С середины 1920-х гг. Гнесин предпринимает усилия для того, чтобы встроиться в советскую официальную музыкальную культуру: он сочиняет симфонию-монумент «1905-1917» (1925), отдаёт дань обработке музыкального фольклора народов СССР (например, в секстете «Адыгея», 1933). Среди поздних произведений композитора — как кантата «Красной Армии», так и трио «Памяти наших погибших детей» (оба — 1943). Гнесиным также написаны учебник «Начальный курс практической композиции» (1941) и книга «Мысли и воспоминания о Римском-Корсакове» (1956).
Заслуженный деятель искусств РСФСР (1927). Доктор искусствоведения (1943). Лауреат Сталинской премии (1946, за сонату-фантазию для фортепианного квартета).