Сын командира Шосткинских пороховых заводов генерал-лейтенанта В. В. Гербеля.
Начиная с 1850-х гг. печатался в различных петербургских журналах. В конце 1850-х гг. предпринял издание на русском языке лучших иностранных поэтов; к этой работе он привлёк выдающихся деятелей русской литературы того времени; кроме того собрал все лучшие переводы классических иностранных поэтов, рассеянные по разным журналам.
В 1857 году появилось собрание сочинений Шиллера в переводе русских писателей, затем были изданы: полные собрания сочинений Шекспира, Байрона, Гёте, Гофмана, Шевченко, хрестоматии из лучших произведений немецких, английских и славянских поэтов.
В области русской литературы особое значение имеет перевод Гербеля в стихах «Слова о полку Игореве» (1854), встреченный весьма благосклонно учёными-филологами того времени; Гербель также оставил после себя книги «Русские поэты в биографиях и образцах» (СПб., 1873, 1980, 1888) и «Немецкие поэты в биографиях и образцах» (СПб., 1877).