Родился 1 января (?) 1904 году в Одессе. В 1926 году закончил юридический факультет Института народного хозяйства в Одессе, был оставлен в аспирантуре, по окончании которой работал преподавателем политэкономии в Институте водного транспорта.
В 1934 году переехал в Ленинград, где был вначале доцентом и деканом в Юридическом институте, профессором, заведующим кафедрой уголовного права.
В годы Великой Отечественной войны, находясь в Советской Армии и работая членом Военного трибунала фронта, затем Московского военного округа, инспектором-консультантом Главного управления военных трибуналов, он занимался научной и преподавательской деятельностью. Ещё шла война, а М. Д. Шаргородский в марте 1945 г. защищает докторскую диссертацию.
После окончания войны вернулся в Ленинград, где возглавил кафедру уголовного права Ленинградского юридического института, а затем и кафедру юридического факультета Ленинградского государственного университета.
С первых дней создания Ленинградского общественного научно-исследовательского института Судебной Защиты М. Д. Шаргородский стал активным его участником. Он являлся членом Ученого Совета института, редактором сборников «Преступность и её предупреждение», автором ряда публикаций в трудах института.
Автор более 230 работ, 27 из них переведены и изданы в других странах. На протяжении ряда лет (1957—1963) М. Д. Шаргородский был ответственным редактором журнала «Правоведение».