Родился в семье военного врача. С 1925 по 1931 год обучался в университете Галле. В 1930 году вступил в НСДАП (№ 210049) и СА. В том же году возглавил университетскую ячейку Национал-социалистического союза студентов Германии и в этом качестве руководил началом кампании против богослова Гюнтера Дена. В 1931 году стал членом СС. Принимал участие в боевых действиях на восточном фронте во время Второй мировой войны в составе дивизии СС «Дас Райх». В 1944 году стал профессором кафедры гигиены в университете Берлина. Мруговский принимал активное участие в медицинских экспериментах над узниками концлагеря Заксенхаузен.
В 1946 году предстал перед Нюрнбергским трибуналом по делу врачей. За военные преступления, преступления против человечности и участие в преступной организации (СС) был пригововорен к смертной казни через повешение. Иоахим Мруговский был повешен 2 июня 1948 года в тюрьме города Ландсберг-на-Лехе. Интересно, что находились заключенные Заксенхаузена, предоставившие о Мруговском положительные отзывы.