Племянник знаменитых русских издателей братьев Гранат. С юности, несмотря на тяжёлую болезнь — прогрессирующую мышечную атрофию, участвовал в местном социал-демократическом движении, в 1901—1902 гг. возглавлял социал-демократов Одессы.
В 1903 г. сослан на 8 лет в Якутскую губернию, однако в следующем году бежал из ссылки в Швейцарию (поскольку Ларин всю жизнь передвигался с трудом, его фактически вынесли на руках, в корзине для белья, его товарищи по побегу). В 1905 г. нелегально вернулся в Россию, вёл подпольную работу в Санкт-Петербурге, Феодосии, Киеве, Баку, Харькове, Тифлисе. В 1913 г. арестован повторно, но по состоянию здоровья освобождён и выслан за границу.
Жил со своей женой Еленой в Германии, откуда был выслан в начале первой мировой войны и переехал в Швецию. В 1916 жил в Стокгольме. Под фамилией Лурье сотрудничал в газете «Русские ведомости» и журнале «Вестник Европы». В то же время под фамилией Ларин сотрудничал в революционной прессе.
Вплоть до 1917 г. состоял во фракции меньшевиков, но зимой 1917 г. возглавил группу меньшевиков-интернационалистов, сближавшихся с большевиками, а в августе 1917 г. вступил в РСДРП(б).
В 1917—1921 гг. член президиума ВСНХ. Один из создателей Госплана, с ноября 1921 г. член его президиума.
В 1923 году стал выступил инициатором проекта по созданию еврейских земледельческих поселений в Крыму, на Украине и в Белоруссии. Для реализации этого проекта было создано Общество землеустройства еврейских трудящихся (ОЗЕТ) в помощь КомЗЕТу (Государственному комитету по земельному устройству еврейских трудящихся при Президиуме Совета национальностей ЦИК СССР), председателем которого стал Ларин. На 70-80% проект финансировался зарубежными общественными и частными фондами среди которых: Джойнт, «Американское общество помощи еврейской колонизации», «Французское еврейское общество».
Умер 14 января 1932 г. в Москве. Похоронен у Кремлевской стены.
Дочь Ларина Анна Михайловна Ларина (1914—1996) — третья жена Н. И. Бухарина, репрессирована, автор известных воспоминаний «Незабываемое».