Окончил ЛГУ. Во время учёбы в ЛГУ был репрессирован, но после ареста Ежова выпущен. В 1945 под руководством С. Л. Рубинштейна окончил аспирантуру и защитил кандидатскую диссертацию на тему «Учение Потебни о языке и сознании». С этого же времени работал в секторе психологии Института философии АН СССР. Преподавал в МГУ, читая курс по истории психологии. Во время кампании борьбы с «космополитами» уехал в Таджикистан. С 1951 по 1964 организовал и возглавил несколько кафедр психологии в педагогических институтах Таджикской ССР и лабораторию экспериментальной психологии в Таджикском государственном университете. С 1965 работал в Институте истории естествознания и техники АН СССР, в качестве заведующего сектором проблем научного творчества. Был членом редколлегий журналов «Вопросы истории естествознания и техники» и «Психологического журнала».
Учениками М. Г. Ярошевского является ряд известных современных российских психологов, в частности, Т. Д. Марцинковская и др.
М. Г. Ярошевский явился автором статьи «Кибернетика — наука мракобесов», которая часто упоминается в контексте идеологической кампании против кибернетики в СССР.
М. Г. Ярошевский известен прежде всего как автор многочисленных работ по истории и методологии психологии. В качестве важнейшего принципа, определяющего развитие психологии, он рассматривает принцип детерминизма. В своём труде «История психологии» (1966) он прослеживает историю развития психологического знания (от древневосточной психологической мысли до современности) под углом того, как изменялось понимание этого принципа. История психологии рассматривается Ярошевским как история прогресса «детерминистического знания» . В монографии «Психология в XX веке» (1971) Ярошевский обратился к исследованию устойчивых и неизменных компонентов научного знания — научных категорий, принципов и проблем. Анализируя основные направления психологии, он выделил основные категории, которые служат основанием каждого направления (образ, мотив, действие, отношение и личность). В последующих работах Ярошеский обратился к изучению социальных аспектов развития научного знания, ввёл понятие «оппонентный круг» — круг «значимых других», полемика с которыми регулирует деятельность учёного. Разработал программно-ролевой подход к изучению развития науки.