Родился в 1859 года в еврейской семье. К гимназическому времени относится и начало его дружбы с Г. Б. Иоллосом, с которым он до конца жизни поддерживал самые близкие отношения. В 16 лет, рассорившись с отцом, ушёл из дома, жил уроками. В 1888 году перед женитьбой перешёл в православную веру.
По окончании юридического факультета Новороссийского университета (1881) М. Я. Герценштейн, сдав магистерский экзамен, рассчитывал заняться преподаванием в высшей школе. Кроме университета за плечами у него был и курс политической экономии, прослушанный в Германии. Однако к преподавательской деятельности Министерство народного просвещения его не допустили из-за иудейского вероисповеданиря. С 1884 года он начал сотрудничать с «Русскими Ведомостями», а затем и с другими журналами, где публиковал статьи на экономическую тематику.
По рекомендации профессора А. И. Чупрова Герценштейн поступил на службу в Московский земельный банк. Как специалист в области поземельного кредита, он быстро достиг видного положения. Пятнадцатилетняя служба в банке создала Герценштейну независимое материальное положение, обогатила его большим запасом практических сведений в области финансовых, кредитных и аграрных отношений.
В 1905 году Герценштейн стал гласным московской городской думы, где председательствовал в финансовой и жилищной комиссиях. Входил в состав «исполнительной комиссии», образованной думой для переговоров с рабочими по поводу их конфликта с городским самоуправлением. Однако на выборах городского головы Москвы Герценштейн свою кандидатуру снял; в этом же году он стал гласным московского губернского земского собрания и начал активно участвовать в начавших проводиться тогда съездах городских и земских деятелей.
В партии кадетов Герценштейн был председателем аграрной комиссии; его позиция по аграрному вопросу впоследствии легла в основу программы кадетов. На выборах в I государственную думу кадеты выдвинули его кандидатуру от города Москвы.
В Думе Герценштейн стал председателем первой (главной) подкомиссии аграрной комиссии и входил в состав трёх других комиссий: финансовой, бюджетной и об ассигновании средств на продовольственную помощь населению. За короткий срок существования первого парламента Российской империи Герценштейн успел трижды выступить в общем собрании Думы по аграрному вопросу.
После разгона Думы Герценштейн выехал в Выборг, где подписал «Выборгское воззвание» от 9 (22) июля 1906 года. 12—14 (25—27) июля в Териоках участвовал в межпартийном совещании кадетов и трудовиков. После возбуждения дела против всех 180 членов Думы, подписавших «Выборгское воззвание» выехал в Петербург, где провёл первые часы дня своей гибели 18 (31) июля 1906 года у своего однопартийца В. Д. Набокова. Вечером Герценштейн возвращался в Териоки, где уже несколько дней его выслеживали черносотенцы — Александр Казанцев с группой подельников. Оставив дома младшую дочь Веру, Герценштейн с женой Анной Васильевной и старшей дочерью Анной вышли прогуляться по берегу Финского залива. Там около 8 часов вечера убийцы настигли их, и убили двумя выстрелами из револьверов самого Герценштейна и ранили его дочь.
В годы обучения в университете Герценштейн проявил большой интерес к трудам К. Родбертуса, и первые свои публикации (в «Русской мысли» и «Юридическом вестнике») молодой учёный посвятил исследованию теорий этого немецкого экономиста, к идеям которого он неоднократно возвращался впоследствии в своей учёной работе. Другим экономистом, чьи труды привлекли его внимание, был американский социалист-радикал, политэконом Генри Джордж; статью о нём Герценштейн опубликовал в 1885 году в «Русской Мысли»). Книга Джорджа «Прогресс и бедность» (1879) привлекла широкое внимание учёного мира, а само философско-экономическое учение этого экономиста и политика получило название «джорджизма». Изучение взглядов Генри Джорджа, акцентировавшего внимание на аграрном вопросе, оказалось полезным для Герценштейна, когда он вплотную подошёл к этой проблематике после перехода в Московский сельскохозяйственный институт, а затем стал главным специалистом по аграрному вопросу в руководстве партии кадетов.
В годы службы в Московском земельном банке Герценштейн не оставил научно-публицистичую деятельность. Он продолжал писать в «Юридическом вестнике», «Русской мысли» и «Русских ведомостях», главным образом, по вопросам финансов, кредита, а в последние годы своей жизни — и по аграрному вопросу. В 1892 году вышла его книга «Кредит для земств и городов», в 1900 году — «Реформа ипотечного кредита в Германии», в 1902 году — «Ипотечные банки и рост больших городов в Германии». В 1903 году он отозвался на злоупотребления в харьковском земельном и торговом банках брошюрой «Харьковский крах».
В 1903 году Герценштейна, наконец, утвердили приват-доцентом Московского университета, а в 1904 году его избрали адъюнкт-профессором Московского сельскохозяйственного института.
В 1904 году вышли две работы Герценштейна: «Мелкий кредит в трудах комитетов о нуждах сельскохозяйственной промышленности и сберегательные кассы», «Новейшие течения в учении о поземельном кредите в Германии». Последняя из них (магистерская диссертация) — opus magnum, основной теоретический труд Герценштейна. Герценштейн анализировал учения Карла Родбертуса, Лоренца Штейна и Альберта Шеффле; остановился на попытке прусского законодательства насадить в восточных провинциях королевства крестьянское землевладение не на началах частной собственности, а на иных основаниях, юридически более близких к средневековым формам землевладения; исследовал различные проекты уменьшения земельной задолженности.
В 1905 году был издан сборник «Аграрный вопрос» (издание Долгорукова и Петрункевича. — М., 1905), куда вошли статьи Герценштейна «Национализация земли», «Крестьянский банк» и «Выкупная операция».
В 1905 году Герценштейна был избран гласным московского губернского земского собрания. В городской думе Герценштейн сразу занял видное положение, став председателем финансовой и жилищной комиссий. Он вошёл также в состав особой «исполнительной комиссии», образованной городской думой, и в её составе вёл переговоры с рабочими во время их конфликта с городским самоуправлением. При выборах городского головы в конце 1905 года намечалась и кандидатура Герценштейна, но он от неё решительно уклонился.
Герценштейн участвовал в съездах городских и земских деятелей с самого их возникновения. Он выступал также в частных собраниях, устраивавшихся в 1905 году в Москве, с докладами по аграрному вопросу, защищая от возражений справа и слева принципы, которые впоследствии легли в основу программы конституционно-демократической партии. В своей партии он был председателем аграрной комиссии, участвуя во всех совещаниях, затрагивавших аграрные вопросы. На выборах в первую государственную думу кадеты выдвинули его в числе 4 кандидатов по округу г. Москвы. По итогам голосования выборщиков М. Я. Герценштейн и М. Ф. Савельев получили по 163 голоса из 169, Ф. Ф. Кокошкин — 165 и С. А. Муромцев — 166 голосов. В досье Герценштейна легла полицейская справка: «В настоящее время… выбран членом от Москвы в Гос. Думу, причем кандидатура его, как выдающегося финансиста, с точки зрения партийных интересов представлялась даже более желательною, чем кандидатура одного из первостепенных организаторов и руководителей к.-д. партии — князя Павла Долгорукого».
Близкий к правительству и лично Столыпину автор книги «Правда о кадетах» И. Я. Гурлянд (псевдоним Н. П. Васильев) в 1907 году, уже после гибели Герценштейна, так комментировал кадровый выбор кадетов по аграрному вопросу:
В думе Герценштейн стал председателем первой (главной) подкомиссии аграрной комиссии, и членом финансовой и бюджетной комиссий, а также комиссии об ассигновании средств на продовольственную помощь населению. Отражая и позицию кадетов, и своё личное убеждение по аграрному вопросу, в Думе Герценштейн призывал к принудительному изъятию земельной собственности у частных владельцев. Правительство объявило этот вариант решения земельной проблемы неприемлемым, и 18 (31) мая 1906 года Герценштейн огласил с думской трибуны свои возражения. В заключение своей первой речи в Думе он остановился на проблеме, затронутой предшествующим оратором, профессором Л. А. Петражицким — речь шла об опасениях за будущее культуры в случае превращения России в страну исключительно крестьянского хозяйства.
На следующий день, 19 мая (1 июня) кадеты и другие его единомышленники в думе, в том числе представители крестьян, попросили Герценштейна дать ответ главноуправляющему землеустройством и земледелием А. С. Стишинскому, и товарищу министра внутренних дел В. И. Гурко. Эта его речь носила более яркий полемический характер, чем первая:
Это выступление Герценштейна 19 мая (1 июня) 1906, когда он «предостерегал правительство от стихийного бунта, к которому могло привести катастрофическое состояние крестьянства», немедленно вызвало бурю гнева уже в зале заседаний Думы. По воспоминаниям В. Г. Короленко, «трудно представить себе ту бурю гнева, какая разразилась при этих словах на правых скамьях. Слышался буквально какой-то рёв. Над головами подымались сжатые кулаки, прорывались ругательства, к оратору кидались с угрозами…». В заседании 23 мая (5 июня) Герценштейн продолжил полемику с Гурко и Стишинским.
Черносотенцы интерпретировали слова об «иллюминациях» как злорадство по поводу нападений крестьян на дворянские усадьбы и как подстрекательство к продолжению таких действий. Именно после этой речи Герценштейн начал получать письма с угрозами расправы. Единственная мера предосторожности, которую он в связи с этим предпринял — застраховал свою жизнь на 50 тыс. рублей в страховом обществе «Нью-Йорк».
Несмотря на претензии правых к городскому происхождению Герценштейна и антисемитские нападки, крестьяне хорошо осознавали, чьи интересы он защищает в земельном вопросе. Герценштейн, по выражению Короленко, стоял «в центре разработки и защиты кадетского проекта». В частности, в Думе после выступления правых депутатов крестьяне скандировали «Герценштейн! Герценштейн!» А после убийства один из местных жителей возле Троице-Сергиевой Лавры сказал:
По утверждению Короленко, такие отзывы были не единичными.
Между 15 и 20 июня (в конце июня — начале июля н. ст.) Николай II в присутствии В. Н. Коковцова рассмотрел представленный оппозицией список нового кабинета министров. На пост председателя совета министров предлагался С. А. Муромцев, на пост министра финансов — Герценштейн. Эти предложения царь отверг.
В ночь на 9 (22) июля 1906 года стало известно о роспуске Думы. В 6 часов утра указ был расклеен по Петербургу, в том числе на воротах Таврического дворца, которые были закрыты на замок.
Было воскресенье, и многие депутаты находились на дачах, расположенных на северном побережье Финского залива, вдоль железной дороги Петербург — Выборг. Станция Белоостров была пограничной, и за р. Сестрой начиналась Выборгская губерния — её в 1811 году Александр I передал Великому княжеству Финляндскому. В 17 км от Белоострова и в 89 км от Выборга находятся Териоки — крупнейший из ближайших к русской границе населённых пунктов, превратившихся к концу XIX века в курорты. Полоса между пляжем и железной дорогой застраивалась, в основном, небольшими деревянными домами, комнаты в которых местные жители сдавали петербуржцам на лето. В 1908 году в Териоках насчиывалось 1400 дач и около полутора десятков небольших гостиниц. Область между Куоккалой и Выборгом превратилась в ареал полуконспиративной и нелегальной деятельности многих партий, противостоявших самодержавию в 1905—1917 годах: «финляндская автономия жила по особым законам, и русская полиция не имела возможности производить здесь аресты по своему усмотрению». По воспоминаниям П. Н. Милюкова, относящимся к 1906 году:
Герценштейн с семьёй также обосновался летом 1906 года в Териоках. Депутаты, остававшиеся в день закрытия Думы в Петербурге, прочтя расклеенный на улицах указ о её роспуске, «тотчас же торопливо уходили». По воспоминаниям Коковцова, «среди дня замечался усиленный отъезд членов Думы по Финляндской железной дороге», а к вечеру стало известно, что члены разогнанной Думы решили собраться в Выборге. Всего собралось 220 депутатов. С. А. Муромцев открыл заседание фразой: «заседание Государственной Думы возобновляется».
Текст коллективно составленного обращения «От Думы к народу» призывал, в том числе, к пассивному сопротивлению властям до созыва новой Думы: не давать рекрутов, не платить податей и не платить по займам, которые заключило правительство без согласия Думы. В ходе дискуссии Герценштейн возражал против таких призывов к гражданскому неповиновению. Однако по окончании обсуждения документа, на следующий день, 10 (23) июля 1906 года, он солидаризировался с большинством. Поставив в числе 180 депутатов свою подпись под воззванием (датировали его предыдущим днём), он вернулся в Териоки, где два дня спустя, 12 (25) июля, кадеты и трудовики начали на даче «Новый Курорт» межпартийное совещание.
Териокское совещание трудовиков и кадетов 12—13 (25—26) июля 1906 года рассматривало варианты дальнейших их совместных действий. В частности, предлагалось создать Исполнительный комитет ликвидированной Думы. Согласовать позиции сторонам не удалось, и совещание завершилось окончательным размежеванием обеих партий. На фотографиях, сделанных в перерывах между заседаниями, рядом с депутатами — газеты, публикующие и обсуждающие «Выборгское воззвание». Через несколько дней царское правительство ответило на него репрессивными мерами: 16 (29) июля против всех подписавших этот документ было возбуждено дело.
Герценштейн продолжал встречаться с товарищами по партии, и через несколько дней выехал в Петербург. Первую половину дня своей смерти он проводит у своего однопартийца В. Д. Набокова, после чего вернулся в Териоки шестичасовым вечерним поездом.
Вернувшись в Териоки, около 20 часов вечера Герценштейн вместе с семьёй вышел с дачи в сторону Финского залива, чтобы прогуляться вдоль берега. От пика белых ночей конец июля отделяет немногим более месяца, и в это время суток солнце стоит достаточно высоко, освещая пляж со стороны Выборга. Впереди Герценштейна шла его жена Анна Васильевна, сам он шёл позади рядом с 17-летней дочерью Анной. Услышав, что их кто-то нагоняет, дочь обернулась и шагах в 15 от себя увидела мужчину. Сделав ещё шагов 5, он остановился и вскинул револьвер. Раздалось два выстрела. Герценштейн упал. Убийца, прикрывая лицо левой рукой, немного отбежал, и быстро перелез через забор, отгораживавший пляж, после чего скрылся в прибрежном лесу. По рассказу Ларичкина, около Герценштейна «стояли две женщины, которых я видел до этого вместе с Герценштейном. Та, что моложе, сжимала руки, говоря, что ранена, та, что постарше, рыдала:
На выстрелы и крики подошли люди. Тело убитого отнесли в близлежащую гостиницу и вызвали полицию. Жена Герценштейна вспомнила, что за некоторое время до этого она заметила некоего подозрительного субъекта в дымчатых очках, который, как ей показалось, следит за супругом. Её это взволновало настолько (а незадолго до убийства Герценштейн получил письмо с угрозами от «Общества активной борьбы с революцией»), что она даже привлекла внимание прохожих к постоянно следующему за ними человеку.
Финская полиция предприняла обычные при таких происшествиях меры и установила наблюдение за вокзалом. Поздним вечером из домика капитана финской станционной жандармерии Т. А. Запольского к платформе проследовала группа подозрительных людей. Сев в вагон, они уехали в сторону Петербурга на поезде в 23:15. Едва дождавшись русской границы, в Белоострове они сошли с поезда и отправились пить водку и пиво.
Ни следователи, ни сам убитый и его семья не знали в этот день, что за час до убийства, в 7 часов вечера в Москве вышел номер черносотенной газеты «Маяк». На первой полосе крупный анонс: «Герценштейн убит», а на четвёртой — статья «Слух о смерти Герценштейна».
Первоначально семья Герценштейна полагала захоронить его в Москве — городе, где он до избрания в Думу жил, преподавал. Его товарищи по работе в земских органах Москвы, и ещё несколько месяцев назад хотевшие выдвинуть Герценштейна городским головой, уже сделали все необходимые к этому приготовления. «Русское Слово» уже оповестило, что «тело М. Я. Герценштейна прибудет в Москву на Николаевский вокзал 23-го июля, в 8 ч. 50 м. утра». Градоначальник сказал организаторам похорон, В. В. Пржевальскому и И. М. Чупрову, что «предоставляет их усмотрению весь внутренний распорядок шествия, но наружный порядок возлагается всецело на полицию». Однако петербургские власти опасались беспорядков, которые могли возникнуть с прибытием похоронной процессии. Буквально напротив Териок, через залив, в эти же дни начался Кронштадтский мятеж 1906 года, а в Петербурге, следом, забастовка. Власти фактически воспрепятствовали воле семьи, и вдова и однопартийцы Герценштейна принуждены были согласиться захоронить его тело в самих Териоках.
На похороны собралось несколько тысяч человек (Кяхенен приводит оценки в 15-20 тысяч). Все лавки и ремесленные заведения посёлка были закрыты в знак траура. Каждый новый поезд, прибывавший из Петербурга в Териоки, люди встречали пением. Вдоль всего пути следования катафалка в несколько рядов стояли люди с обнажёнными головами, многие плакали.
Позже на Териокском кладбище установили памятник-обелиск, а на месте убийства, на берегу залива — гранитный камень «с надписью, рассказывающей о благородном друге Финляндии».
Уже наутро после убийства, 19 июля (1 августа) 1906 года финская полиция допросила Тихона Запольского. Выяснилось, что в ночь перед убийством Герценштейна в его доме останавливалось 5 человек, один из них в дымчатых очках, говоривший по-польски и по-немецки. Своё гостеприимство жандарм объяснил тем, что двое из них предъявили корочки агентов охранки якобы за подписью полковника Герасимова. Впоследствии на запрос суда об этом удостоверении, начальник Петербургского охранного отделения А. М. Герасимов ответил, что подобных удостоверений, с подписью и печатью вообще никому из служащих в охранном отделении не выдавалось. И хотя историки скептически оценивают подлинность этих удостоверений, револьверы и «панцири» (бронежилеты), которыми в прямом смысле слова бряцали боевики в доме Запольского, были настоящими. По его словам, в ответ на требование предъявить ему документы на оружие, Ларичкин ответил, что выдано оно им в полиции Шлиссельбурга. Как неподдельное признал Запольский и рекомендательное письмо за подписью русского со-начальника финской жандармерии