Родился в семье бедного торговца, который прочил такую же карьеру и сыну. Маркус больше интересовался философией и наукой. Поступил в 1762 году в университет в Кенигсберге, был там одним из трёх евреев принятых на медицинский факультет. В Кенигсберга сделался горячим поклонником Канта, впоследствии и его главным корреспондентом на всю жизнь.
Вынужден был преврать учёбу и сделаться секретарём богача Эфраима из России, путешествовал с ним по странам Прибалтики. В 1770 году выступил в качестве оппонента Канта на защите последним диссертации. По рекoмeндации Канта и частично на средства последователя Моисея Мендельсона Давида Фридлендера закончил курс медицины в 1774 году в Галле, блестяще защитив диссертацию. Быстро сделался известным врачом, начиная с 1777 года жил постоянно в Берлине и читал там лекции по медицине и философии, способствовал распространению славы Канта в Берлине. Лекции Герца посещали многие известные люди, в том числе и королевской фамилии.
Герц женился в 1779 году на одной из самых красивых и образованных женщин своего времени — Генриетте, урождённой де Лемос, моложе его на двадцать лет. Их большой дом в Берлине состоял из двух половин — научной, где велись приём больных, семинары и лекции под руководством Маркуса, и литературный салон под руководством Генриетты, в литературном салоне принимала участие и дочь Мендельсона Доротея, охарактеризовавшая салон как «миниутопию». Дом привлекал много известных посетителей, в том числе и принцев крови. Доротея познакомилась там со своим будущим мужем Фридрихом Шлегелем, ради которого крестилась. Генриетта крестилась тоже, дождавшись смерти матери.
Маркус Герц написал много значительных произведений по медицине, важные работы по философии и физике, а также сатиру в защиту евреев. Герц перевёл на немецкий с анлгийского книгу «Спасение Израиля» Менассия Бен-Исраэль. Именно в письмах Герцу Кант излагал свои планы, в том числе замысел «Критики чистого разума». Герц также дружил и с Мендельсоном. Герц послал Канту важную работу малоизвестного тогда философа Соломона Маймона с сопроводительным письмом, где рекомендовал работу, а самого автора назвал «человеком неотёсанным». Кант откликнулся одобрительным письмом Герцу и самому Маймону.
В 1782 году здоровье Герца пошатнулось от переутомления, с 1785 года перестал читать лекции. В 1792 году получил звания профессора философии, затем стал и действительным советником. В поздние годы в основном занимался практической медициной. Умер в Берлине, наибольшее значение в наше время имеет переписка с Кантом.