Учился в Кобленце у Даниэля Хюнтена, затем в 1816—1817 гг. в Парижской консерватории у Виктора Дурлана, Антона Рейха и Луи Бартелеми Прадера. Совершенствовал своё мастерство под руководством Игнаца Мошелеса.
Широко гастролировал по Европе — в том числе в Варшаве, Петербурге, Москве, — а также по Соединённым Штатам Америки и Мексике, о чём опубликовал отдельной книгой воспоминания (фр. Mes voyages en Am?rique; 1866, английский перевод 1963). Сочинения Герца имели в своё время, как отмечала Энциклопедия Брокгауза и Ефрона, огромную популярность и выдержали массу изданий. Среди 218 пронумерованных опусов — восемь концертов для фортепиано и оркестра, 14 рондо, масса фантазий, вариаций, ноктюрнов, вальсов, этюдов.
В 1838 г. открыл в Париже свой концертный зал. Основал фабрику по производству фортепиано, пользовавшуюся хорошей репутацией (первая премия Всемирной выставки 1855 года и, уже после смерти самого Герца, Всемирной выставки 1889 года).
В 1842—1874 гг. преподавал в Парижской консерватории (среди его учеников, в частности, Мари Яэль). Кроме того, вместе с братом вёл собственную частную школу. Автор учебника (фр. M?thode compl?te de piano).