Родился 4 сентября 1890 года в Кракове. В 1910 году поступил на юридический факультет Ягеллонского университета. В 1911—1912 — проходил службу в Австро-Венгерской армии в качестве вольноопределяющегося, сдал экзамен на офицера резерва. В 1914 году, с началом 1-й мировой войны, вступил в Польский легион в составе Австро-Венгерской армии. Воевал на Восточном фронте, дослужился до подполковника, был командиром полка.
В 1918 году, с образованием независимой Польши, вступил в польскую армию. В чине полковника командовал пехотной бригадой, затем дивизией. Участвовал в Советско-польской войне. После войны учился в военной академии во Франции. По возвращении из Франции был произведён в генералы. Служил в генштабе польской армии.
В 1926 году не поддержал военный переворот маршала Ю. Пилсудского и даже участвовал в военных действиях против сторонников маршала, за что военным трибуналом был приговорён к 5 годам тюрьмы и разжалован в рядовые. После освобождения в 1931 г. стал тайным членом Коммунистической партии Польши. В 1938 г. эмигрировал во Францию.
После оккупации Германией территории Польши вернулся в Польшу по заданию коммунистической партии, активно участвовал в движении Сопротивления. С мая 1943 года военный советник в Главном штабе Гвардии Людовой (в том же году ему вновь присвоено генеральское звание). Был известен под псевдонимом Роля; кроме того, использовал псевдонимы Завиша (Zawisza), Морский (Morski), Липский (Lipski). В январе 1944 в стал главнокомандующим Армии людовой, одновременно являлся руководителем ведомства национальной обороны в Польском комитете национального освобождения. Декретом Крайовой Рады Народовой от 21 июля 1944 1-я польская армия и Армия людова были объединены в Войско Польское, а Михал Жимерский назначен его главнокомандующим.
В 1944—1945 — военный министр т. н. Люблинского комитета — фактически полностью подконтрольного СССР польского правительства. 3 мая 1945 года ему было присвоено звание маршала Польши. 9 июня 1945 года маршал Жимерский был награждён высшим советским полководческим орденом «Победа». В 1946—1949 гг. — министр обороны Польши. В 1949—1952 — член Государственного совета.
14 мая 1953 года арестован по ложному обвинению и брошен в тюрьму. В 1955 году освобождён. В 1955—1967 гг. занимал пост вице-президента Польского народного банка. С 1971 года — почётный президент Союза борцов за свободу и демократию. В 1981—1986 гг. член ЦК Польской объединённой рабочей партии (ПОРП).
Михал Жимерский скончался 15 октября 1989 года в Варшаве. Похоронен на воинском кладбище Повонзки.
Псевдонимом Завиша (Zawisza) во время пребывания в подполье во время немецкой оккупации пользовался и маршал Эдвард Рыдз-Смиглы.