С 1843 г. органист и с 1848 г. кантор церкви Святого Матфея в Мюнхене. В 1850—1854 гг. вёл класс органа в Мюнхенской консерватории. В 1854—1888 гг. в Эрлангене: преподавал музыку и пение в университете, возглавлял созданный в городе Институт церковной музыки. В 1866 г. удостоен степени доктора музыковедения honoris causa. С 1888 г. вновь в Мюнхене.
Автор органных сочинений и церковной музыки, составитель ряда сборников духовных песен. Среди учеников Херцога, в частности, Йозеф Райнбергер.