Ме?йлих Гершензо?н родился в губернском городе Кишинёве в семье Пинхус-Йосефа Лейбовича (Иосифа Львовича) Гершензона, мелкого коммерсанта и частного поверенного из города Литина, и Гитли Янкелевны (Голды Яковлевны) Цысиной. С 1875 года учился в хедере, затем в частном Кишинёвском еврейском общественном училище Блюменфельда, в 1887 году окончил 1-ю кишинёвскую казённую гимназию.
Отец Гершензона хотел дать двум своим сыновьям такое образование, которое обеспечило бы им материальную независимость. Старшего сына Абрама он отправил в Киев учиться на врача, а младшего — в Берлин, учиться на инженера. Два года (1887—1889) Гершензон честно учился, но в результате лишь пришёл к выводу, что эта карьера не для него. Он стал слушать лекции историка Г. фон Трейчке и философа Э. Целлера в Берлинском университете.
Наконец, летом 1889 года Гершензон вернулся в Кишинёв и объявил о своей решимости получить гуманитарное образование. Отец был категорически против, так как такое образование открывало лишь две возможности для дальнейшей карьеры: преподавание в университете либо преподавание в гимназии, а и то, и другое было тогда запрещено евреям. Кроме того, само поступление было проблематично из-за жёсткой процентной нормы приёма евреев, а Гершензон даже не получил золотой медали при окончании гимназии. Тем не менее, он послал прошение в Петербург, в министерство народного просвещения. Эта попытка не была заведомо безнадёжной, поскольку тогдашний министр, граф Делянов, добросовестно проводя в жизнь «охранительные» меры, инициированные К. П. Победоносцевым и Д. А. Толстым, нередко помогал отдельным людям, пострадавшим от этих самых мер. И действительно, министерство распорядилось о зачислении Гершензона на первый курс исторического отделения историко-филологического факультета Московского университета. Отец же из всей этой ситуации сделал вывод, что сын собирается креститься, если уже не крестился, и отказался оказывать сыну какую бы то ни было материальную поддержку.
Таким образом, студенческая жизнь Гершензона в Москве началась в крайней нищете, с постоянным добыванием уроков. В университете он слушал лекции В. И. Герье по новой истории, П. Г. Виноградова по истории Греции, Ф. Е. Корша по классической филологии, Н. Я. Грота по психологии, В. О. Ключевского по русской истории, М. С. Корелина по древней истории семитического Востока. С. И. Соболевский вёл практические занятия по древнегреческому языку. Гершензон посетил также несколько лекций И. М. Сеченова по физиологии и С. С. Корсакова по психиатрии.
Однокурсником Гершензона оказался другой уроженец Кишинёва, Николай Борисович Гольденвейзер (1871—1924), остававшийся его ближайшим другом до конца жизни. К тому времени вся семья Гольденвейзеров перебралась в Москву: отец, Борис Соломонович Гольденвейзер (1838—1916), известный адвокат, мать, Варвара Петровна, рожд. Щекотихина (1848—1898), младший брат Александр и две сестры, Татьяна и Мария. Гершензон быстро стал своим человеком у Гольденвейзеров.
В декабре 1893 года Гершензону была присуждена золотая медаль за сочинение «Афинская полития Аристотеля и жизнеописания Плутарха», написанное по инициативе и под руководством П. Г. Виноградова. Тот надеялся на основании этой медали добиться для Гершензона если не оставления при университете, то хотя бы командировки за границу для продолжения образования, однако ничего этого не удалось. В письме родным Гершензон так передавал слова Виноградова:
До конца жизни Гершензон зарабатывал на хлеб литературным трудом. Его первым опубликованным текстом была заметка о китайской династии Минг в Настольном энциклопедическом словаре Граната (1893); за ней последовали другие мелкие статьи в этом словаре. В 1894 году его рецензия на книги Н. И. Кареева была опубликована (без подписи) в журнале «Русская мысль». В 1896 году газета «Русские ведомости» напечатала 30 его заметок на всевозможные темы, преимущественно рецензий на книги. Эта деятельность продолжалась и в последующие годы, хотя и с меньшей интенсивностью. Основным же источником заработка в этот период были для Гершензона переводы, в том числе, книг «Рассказы о греческих героях, составленные Б. Г. Нибуром для его сына», «История Греции» Ю. Белоха, трёх томов из многотомной «Всеобщей истории» Лависса и Рамбо. Он выступал также редактором переводов, в частности, монографии Э. Мейера «Экономическое развитие древнего мира»; публикация этой книги встретила препятствия со стороны цензуры и задержалась на годы.
Со студенческих лет Гершензон дружил с В. А. Маклаковым и С. П. Моравским, также учениками Виноградова. В период работы над «Афинской политией» Аристотеля он много общался с М. М. Покровским, о котором был чрезвычайно высокого мнения: «Один вечер, проведённый с ним, обогащает меня более, чем год университетских лекций.» С середины 1890-х годов Гершензон дружил с С. H. Булгаковым, выпускником юридического факультета Московского университета.
В 1893 году филантропка Елизавета Николаевна Орлова (1861—1940, внучка М. Ф. Орлова, внучатая племянница Н. И. и С. И. Кривцовых, правнучка Н. Н. Раевского, пра…правнучка М. В. Ломоносова) инициировала создание Комиссии домашнего чтения, целью которой было содействие самообразованию малоимущих. Комиссия издавала программы чтения, высылала книги и руководила чтением. П. Г. Виноградов стал членом (а позднее председателем) комиссии. Он привлёк к её деятельности Гершензона, который в результате опубликовал ряд переводов и собственных текстов по проблемам образования и воспитания. С этой же работой связано написание популярного очерка о Петрарке (1899), позднее переработанного во вступительную статью к сборнику переводов (1915).
Знакомство с Орловой переросло в многолетнюю дружбу и сыграло огромную роль в жизни Гершензона.
Дружеские отношения с сестрой Николая Гольденвейзера Марией перешли в романтические, но брак между православной Марией Гольденвейзер и иудеем Мейлихом Гершензоном был недопустим по законам Российской империи. С 1904 года они стали просто жить вместе, как семья. Борис Соломонович Гольденвейзер не одобрял это решение, полагая, что Гершензон мог бы и креститься, раз уж так вышло. Дети Гершензонов — сыновья Александр (умерший в младенчестве), Сергей и дочь Наталия — числились «незаконными детьми, вписанными в паспорт девицы Гольденвейзер.» К 1914 году российское законодательство стало более веротерпимым: православные могли переходить в иные христианские исповедания, а инославные могли вступать в брак с иудеями. Мария стала лютеранкой, и они обвенчались по лютеранскому обряду.
В 1908 или 1909 году Орлова поселила Гершензонов в своём домовладении в Никольском переулке близ Арбата, сначала в деревянном флигеле, а затем в новом доме, построенном в 1912 году архитектором Ивановым-Шицем. В том же доме поселилась она сама с матерью, а позднее и её сестра, бывшая замужем за С. А. Котляревским. Потеряв всё состояние в результате Октябрьской революции (хотя и счастливо избежав каких-либо репрессий), Орлова продолжала жить с Гершензонами как член семьи до самой смерти, зарабатывая уроками рисования и языков, а позднее и продажей собственных картин. В 1959 году семья (уже Чегодаевых) переселилась в Черёмушки, а в 1970-х годах дом был снесён.
Став известным литератором и учёным, Гершензон не порывал с повседневной журналистикой до закрытия большевиками всех независимых газет и журналов. Был редактором литературного отдела журналов «Научное слово», «Критическое обозрение» (с 1904 года), «Вестник Европы» (1907—08). В 1913 году опубликовал в газете «Русская молва» 18 заметок на разные темы под псевдонимом «Junior». В 1914—1916 годах активно публиковался на общие и литературные темы в газете «Биржевые ведомости».
После Февральской революции — председатель Всероссийского союза писателей. В 1920—21 годах член бюро Литературного отдела Наркомпроса, член коллегии 4-ой секции Главархива, с 1921 года заведующий литературной секцией Государственной академии художественных наук.
По сообщению М. А. Цявловского, дед Гершензона, Яков Цысин, подростком видел Пушкина, гуляющего в городском саду Кишинёва, о чём и рассказывал потом маленькому внуку. На протяжении всей жизни Гершензон сочинял стихи; несколько стихотворений было опубликовано в журналах «Новое слово» (1897) и «Русская мысль» (1913, 1915).
Первой собственно научной публикацией Гершензона стала студенческая работа «Аристотель и Эфор», удостоенная в 1893 году Исаковской премии и напечатанная за счёт университета в 1894 году под одной обложкой с (также студенческой) работой В. А. Маклакова «Избрание жребием в Афинском государстве». На эту работу откликнулся рецензией, в частности, В. П. Бузескул. В 1895 году Московский университет, опять за свой счёт, напечатал вторую студенческую работу Гершензона — «Афинская полития Аристотеля и жизнеописания Плутарха». Больше он исследовательской работы ни по греческой истории, ни в классической филологии не вёл.
С конца 1890-х годов занялся исследованием семейных архивов видных дворянских родов Москвы, занимался изучением движения декабристов и наследием А. И. Герцена, Н. П. Огарёва, западников и славянофилов 1830—40 годов.
В 1909 году выступил инициатором издания (а также как автор вступительного слова) сборника «Вехи», объединившего значительных представителей русской философской мысли: Н.A. Бердяева, о. С.H. Булгакова, С. Л. Франка и других (см. статью веховство).
С начала 1910-х годов сконцентрировался на публикации литературно-исторических материалов, специально для которых издавал сборники «Русские пропилеи» (1915—1919, 6 томов) и «Новые пропилеи» (1923). В сотрудничестве с Московским религиозно-философским обществом издал собрание сочинений И. В. Киреевского (1911, 2 тома) и П. Я. Чаадаева (1913—1914, 2 тома), участвовал в разработке серии «Памятники мировой литературы» (с 1911).
После дела Бейлиса, начал сотрудничать с журналом «Еврейский мир», опубликовал работу о еврейском поэте X.H. Бялике (1914), предисловие к составленному его близким другом В. Ф. Ходасевичем и Л. Б. Яффе (1875—1948) сборнику русских переводов из новой поэзии на иврите «Еврейская антология» (издательство «Сафрут», Москва, 1918), в 1922 году философские эссе «Ключ веры» и «Судьбы еврейского народа», в которых противопоставлял сионизму идею универсализма еврейского духа.
Брат — Абрам (Бума) Осипович Гершензон (1868—1933), педиатр и организатор здравоохранения, один из создателей одесского общества детских врачей; его сын — писатель и литературовед Михаил Абрамович Гершензон (1900—1942).
Жена — Мария Борисовна Гершензон (урожд. Гольденвейзер; 1873, Кишинёв — 1940, Москва) — сестра пианиста А. Б. Гольденвейзера.
Сын — Сергей Михайлович Гершензон (1906—1998) — генетик, академик АН УССР.
Дочь — Наталия Михайловна Гершензон-Чегодаева (1907—1977) — советский искусствовед, жена искусствоведа, профессора Андрея Дмитриевича Чегодаева (1905—1994).
Внучка — искусствовед Мария Андреевна Чегодаева (род. 1931).
Ходасевич В. Ф. Гершензон. // Владислав Ходасевич. Некрополь. — М.: Вагриус. 2001. С. 90—98. ISBN 5-264-00160-X
Михаил Гершензон в воспоминаниях дочери. — М.: Захаров, 2000. ISBN 5-8159-0041-9
Пучков Андрей. «Кстати, подумайте, не можете ли помочь…». Письма М. О. Гершензона и два философские трактата Алексея Фёдоровича Селивачёва (1912—1919 гг.) // Сучасні проблеми дослідження, реставрації та збереження культурної спадщини. Збірник наукових праць з мистецтвознавства, архітектурознавства і культурології. Випуск третій. Частина друга. — К.: Видавничий дім А+С, 2006. — С. 170—174.