Жена: оперная певица В.М.Зарудная, помогавшая мужу в его творческой и педагогической работе.
Родился будущий композитор в Гатчине, близ Петербурга. Первоначальное музыкальное образование получил в музыкальных классах для малолетних певчих при Исаакиевском соборе в Петербурге (1872—1875), затем в Петербургской консерватории, в которой в 1882 году он закончил класс композиции Н. А. Римского-Корсакова. С 1882 по 1893 годы работал в Тифлисе (ныне — Тбилиси) в качестве руководителя основанного им отделения Русского музыкального общества, оперно-симфонического дирижёра и преподавателя музыкального училища. С 1893 года по приглашению Чайковского Ипполитов-Иванов — профессор Московской консерватории, а в 1906—1922 годах — её директор. В 1899—1906 годах дирижёр Московской частной русской оперы Саввы Мамонтова и Оперы Зимина, а с 1925 — Большого театра. Под его руководством впервые были исполнены следующие оперы: «Царская невеста», «Кащей Бессмертный» и др. Похоронен в Москве на Новодевичьем кладбище.
Огромное значение имела его педагогическая деятельность. Среди его учеников А. М. Баланчивадзе, С.Василенко, Р. Глиэр, А.Гольденвейзер, Р. Меликян, К. Закарян, К. Игумнов.
В своем творчестве ориентировался на учителя — Н. А. Римского-Корсакова. Использовал русский, грузинский и тюркский фольклор. В области гармонии был чужд новаций. Преимущественное внимание уделял жанру оперы.
Именем М. М. Ипполитова-Иванова названы музыкальные школы в Москве, Гатчине, музыкальная школа № 1 в Костроме, а также Государственный музыкально-педагогический институт (Москва).