Родился в семье Михаила Андреевича Голицына (1639—1687) и его супруги Прасковьи Никитичны, урождённой Кафтырёвой (1645—1715). Имел трёх братьев (Дмитрия, Петра, Михаила-младшего) и трёх сестёр (Марию-старшую, Марию-младшую, Софью)
Службу начал в 1687 году барабанщиком Семёновского лейб-гвардии полка.
В 1694 году произведён в прапорщики. Прекрасно проявил себя в Азовских походах 1695—96 годов.
Участвовал в Нарвском сражении 1700 году, так же в штурмах Нотебурга в 1702 году, Ниеншанца в 1703, Нарвы в 1704, Митавы в 1705.
В 1708 году блестяще разбил шведские отряды генерала Рооса при селе Добром и отличился в бою при Лесной.
В Полтавском сражении 1709 года командовал гвардией и руководил вместе с князем А. Д. Меншиковым преследованием разбитых и отступавших шведских войск, вынудив их сложить оружие под Переволочной. Участвовал в Прутском походе 1711 года.
В 1714 году был главнокомандующим русскими войсками в Южной Финляндии. Участвовал в Гангутском морском сражении 1714 года.
В 1720 году возглавлял галерный флот, который одержал блестящую победу в бою при Гренгаме.
После Северной войны командовал войсками в Санкт-Петербурге, а в 1723—1728 годах, в чине генерал-аншефа — генерал-Фельдмаршала, на территории Украины. В это время он выступил одним из фундаторов создаваемого Харьковского Коллегиума.
С 1728 года был президентом Военной коллегии, сенатором и членом Верховного тайного совета.
В 1730 году уволен в отставку, умер позднее в 1730 году.
Был женат дважды. В браках родились 18 детей:
В 1692 году Михаил Михайлович женился на Евдокии Ивановне, урождённой Бутурлиной (1674—1713):
В 1716 году женился вторым браком на Татьяне Борисовне, урождённой Куракиной (1690—1757).