М. И. Жаров родился 15 (27) октября 1899 года, (по другим данным - 27 октября 1900 года), в Москве в семье типографского рабочего. Его отец, Иван Жаров — подкидыш, воспитывался в Николаевском приюте и свою фамилию получил от своей наставницы. Мать, Анна Семеновна Дроздова, происходила из семьи бывших крепостных крестьян Смоленской губернии.
В 1913 году отец устроил Михаила учеником наборщика в типографию, где работал сам.
с 1915 года Жаров — администратор и помощник режиссёра в труппе Оперного театра Зимина. Там же ему впервые начали доверять роли статистов.
В 1920 году окончил студию при Театре ХПСРО (педагоги А. П. Зонов и В. М. Бебутов); работал в Опытно-героическом театре.
В 1920 — актёр Первого передвижного фронтового театра.
в 1921 — Рогожско-Симоновского театра имени Сафонова.
в 1921—1925 — Театра Мейерхольда.
В 1926—1927 и в 1929 — Бакинского рабочего театра,
в 1928 — Казанского Большого драматического театра,
в 1930 — Реалистического театра,
в 1931—1938 — Московского Камерного театра.
С 1938 — актёр академического Малого театра.
М. И. Жаров умер 15 декабря 1981 года. Похоронен в Москве на Новодевичьем кладбище (участок № 9).
Дочь — Анна стала актрисой, служит в Малом театре.
От первой жены Дины сын Евгений.
Вторая жена Людмила Полянская родила 2 сыновей, но они умерли во младенчестве.
Третьей стала Людмила Целиковская.
Последней женой стала Майя Гельдштейн, которая родила дочь Анну.
Кроме того, во время съёмок фильмов "Медведь" и "Человек в футляре" у него был недолгий роман с О.Андровской.
Дебютировал в Театре ХПСРО ролью Шута в комедии Шекспира «Виндзорские проказницы» (1918). Отработав сезон в Театре им. Сафонова и поступив к Мейерхольду, с успехом играл у него эпизодические острохарактерные роли: мадам Брандахлыстову («Смерть Тарелкина» А. В. Сухово-Кобылина, 1921), секретаря («Учитель Бубус» А. М. Файко, 1925), денщика («Мандат» Н. Р. Эрдмана, 1925). Актёр был уморительно смешон, азартен, напорист. Но более свободно он себя почувствовал все же, когда, уйдя от Мейерхольда, увлекающегося эксцентрикой, стал играть роли психологически обоснованные, построенные на тщательно отобранных бытовых деталях. Среди наиболее запоминающихся персонажей тех лет: нелепый домоуправ («Зойкина квартира» М. А. Булгакова, 1927), балагур Васька Окорок («Бронепоезд 14—69» В. В. Иванова, 1927), демобилизованный будёновец и грубоватый матрос Алексей («Первая Конная», 1929 и «Оптимистическая трагедия» В. В. Вишневского, 1933).
Наиболее полно раскрылось актёрское дарование Жарова в Малом театре, где он играл в основном роли классического репертуара.
В кино Жаров дебютировал небольшой ролью опричника в фильме «Царь Иван Васильевич Грозный» (1915), первую большую роль красноармейца Егора, изменившего жене с молоденькой девушкой, сыграл в 1925 году в фильме «Дорога к счастью». В те годы Жарова считали непревзойденным мастером эпизода («Дон Диего и Пелагея», «Человек из ресторана», «Белый орел», «Живой труп», «Окраина», «Марионетки»).
Он находил для своих персонажей выразительные характерные детали, наделяя своих героев общим качеством: все они обаятельны, уверенно и по-хозяйски чувствуют себя в жизни. Его герои умеют получать удовольствие от еды, бильярда, вина, женщин, незамысловатых песенок, которые они частенько мурлычут себе под нос, солнечного дня, неожиданного выигрыша. Жаров соединял в них достоверность, рельефность психологических характеристик с подчас гротесковым рисунком роли, «оживляя» своим присутствием любой, даже серьёзный сюжет.
В 1930-е годы благодаря кино к Жарову пришла всенародная популярность. Артист был нарасхват. Его приглашали самые известные режиссёры. У Н. В. Экка он сыграл одну из самых известных своих ролей — бандита Жигана («Путевка в жизнь»), у Г. М. Козинцева и Л. З. Трауберга — самодовольного конторщика Дымбу («Возвращение Максима», 1937 и «Выборгская сторона», 1938), у В. М. Петрова — веселого озорника Кудряша («Гроза», 1934) и добродушного, неунывающего царедворца Меншикова («Петр Первый», 1937—1938), у И. М. Анненского — громогласного, пышущего здоровьем помещика Смирнова («Медведь»), жизнерадостного учителя Коваленко («Человек в футл»яре, 1939) и беспечно прожигающего жизнь помещика Артынова («Анна на шее»), 1954), у братьев Васильевых — удалого казака Перчихина («Оборона Царицына»), у С. М. Эйзенштейна — Малюту Скуратова, хитрого, жестокого, «себе на уме» мужика, сумевшего стать правой рукой царя («Иван Грозный»).
Всего Жаров сыграл более чем в 60 фильмах. С годами куража у его героев поубавилось, они становились спокойнее, мудрее, основательнее. Последний его киногерой — сельский милиционер Анискин («Деревенский детектив», 1968; «Анискин и Фантомас», 1974; «И снова Анискин», 1978). Роль для актёра программная: его Анискин — деревенский философ, мудрец, проницательный, несуетливый, вникающий во все дела. Герой, утверждающий веру в то, что наша жизнь зависит от нашего собственного решения жить «правильно», разумно.