Михаил Грязнов родился в семье инспектора городского училища. Закончил реальное училище в Томске, в 1919 году поступил на естественное отделение физико-математического факультета Томского университета. Летом 1920 года, сплавляясь по Енисею вместе с однокашником, так же будущим этнографом, Евгением Шнейдером, познакомился с археологом Сергеем Теплоуховым, который проводил раскопки возле деревни Батени. С этого случайного знакомства для Грязнова началось увлечение археологией.
Под руководством Сергея Руденко и Сергея Теплоухова он работал в Томском университете, весной 1922 года группа учёных (Грязнов, Теплоухов, Руденко, Шнейдер) переехала в Петроград. Грязнов перевёлся в Петроградский университет, который так и не закончил, работал в Академии истории материальной культуры. Вёл раскопки близ Томска, руководил экспедициями в Южную Сибирь и Казахстан, в 1929 году раскопал скифский курган Пазырык.
29 ноября 1933 года Грязнов, как и многие его коллеги, в том числе Теплоухов, был арестован по делу «Российской национальной партии» («Делу славистов»). Он был приговорён в трём годам ссылки в Вятку. После возвращения в Ленинград в 1937 году работал в Эрмитаже. Во время войны Грязнов жил в эвакуации в Свердловске, где защитил кандидатскую (январь 1945 года) и докторскую (июнь того же года) диссертации.
По окончании войны снова вернулся в Ленинград, работал в Эрмитаже и Институте истории материальной культуры (зав. сектором Средней Азии и Кавказа). В 1956 году учёного реабилитировали. Грязнов до конца жизни продолжал активно заниматься наукой, ездил в экспедиции. В частности, в 1971—1974 годах вёл раскопки раннескифского кургана Аржан (VIII—VII вв. до н. э.), выступил с гипотезой об азиатском происхождении скифской культуры.