Михаил Николаевич Чистяков родился в Санкт-Петербурге в семье железнодорожника. На военной службе с 1915 года, участник Первой мировой войны, награждён двумя Георгиевскими крестами. В 1917 году ему было присвоено звание прапорщика.
В Красной армии с сентября 1918 года, в Гражданскую войну был командиром артиллерийского взвода, батареи, дивизиона. После окончания Гражданской войны на командных должностях, окончил курсы старшего комсостава, курсы усовершенствования высшего начальствующего состава при Военной академии имени М. В. Фрунзе. 5 февраля 1936 года присвоено звание комбрига.
В Великую Отечественную войну был начальником артиллерии Западного фронта, затем 34-й армии Северо-Западного фронта. С декабря 1941 года назначен начальником управления боевой подготовки Главного управления артиллерии, а с июня 1943 года заместителем командующего артиллерией Красной Армии. Чистяков участвовал в подготовке и проведении операций на Сталинградском, Донском, Южном, Воронежском, Степном, 3-м и 4-м Украинском, 3-м Белорусском, 1-м, 2-м и 3-м Прибалтийском фронтах, а в должности командующего артиллерией советских войск на Дальнем Востоке в разгроме японских войск во время советско-японской войны.
Звание Маршал артиллерии присвоено 25 сентября 1944 года.
С апреля 1946 года Чистяков был назначен заместителем командующего артиллерией Вооружённых Сил СССР. С ноября 1957 года - генерал-инспектор Главной инспекции Министерства обороны СССР.
С декабря 1964 года назначен военным инспектором-советником Группы генеральных инспекторов Министерства обороны.
Скончался в Москве, похоронен на Новодевичьем кладбище.