Учился в Веймарской Высшей школе музыки у Германа Абендрота, затем у Германа Шерхена, Арвида Янсонса и наконец у Герберта Караяна. В 1956 г. дебютировал как дирижёр в Веймарском оперном театре, затем работал в театрах Эрфурта и Потсдама, в 1966—1972 гг. — в Берлинском симфоническом оркестре, который затем в 1977—1983 гг. возглавлял, в промежутке успев побывать в 1972—1976 гг. главным дирижёром Дрезденского филармонического оркестра. C 1979 г. Хербиг начал много работать за рубежом, будучи главным приглашённым дирижёром в Далласском симфоническом оркестре и в оркестре BBC. В 1984 г. после конфликта с партийным руководством ГДР эмигрировал в США, где в 1984—1990 гг. возглавлял Детройтский симфонический оркестр. В 1988—1994 гг. был музыкальным руководителем Торонтского симфонического оркестра. В дальнейшем Хербиг вернулся в Германию и в 2001—2006 гг. возглавлял Оркестр радио и телевидения Саарбрюкена.
Наиболее заметные успехи Хербига связаны с исполнением произведений Гайдна, Шуберта, Брамса и, прежде всего, Малера.