Сын бригадира Василия Родионовича, внук генерал-поручика Родиона Николаевича, родился 16 февраля 1790 г.
Образование получил в Артиллерийском (2-м кадетском) корпусе, который окончил в 1807 г., и был выпущен подпоручиком в 14-ю конную роту полковника Козена; в 1811 г. переведён тем же чином в гвардейскую конную артиллерию, с которой и участвовал в Отечественной войне 1812 года. Он находился в делах при Витебске, Смоленске, Тарутине, наиболее же деятельное участие он принимал в Бородинском и Малоярославском сражениях.
При Бородине Гербелю пришлось со своей ротой состязаться с сорокапушечной французской батареей. Рота Гербеля потеряла убитыми и ранеными трёх офицеров, 80 рядовых и 170 лошадей; все 8 орудий были подбиты или сильно повреждены. В продолжение этого кровавого боя Гербель действовал с полным самоотвержением и выказал много хладнокровия и распорядительности, как это видно из Высочайшей грамоты на его имя, в которой сказано, что он «весьма искусно направлял орудия и действовал из них, и сверх того был послан за орудиями, собрал оных одиннадцать из разных рот и, поставив на удобных местах, наносил большой вред неприятелю». За Бородинское сражение Гербель был награждён орденом св. Владимира 4-й степени с бантом.
Вторым большим сражением, в котором Гербель принимал участие, было сражение под Малоярославцем. Когда этот город после шестикратного перехода из рук в руки был окончательно занят французами, генерал Дохтуров, выйдя из города, расположил свои батареи на самом близком расстоянии от него, причем гвардейская конная рота Козена была поставлена против Калужской заставы. Полковник Козен, для скорейшего действия, приказал зарядить на месте четыре орудия картечью, подскакать с ними к Калужской заставе, где едва можно было выстроиться, вследствие лежавших на земле груд мертвых и раненых, и не дозволять неприятелю показываться из-за заставы. Одним из двух офицеров, управлявших этим отважным нападением и удачно его исполнивших, был Гербель, который «искусным действием из 2 орудий, у самого шлагбаума поставленных, опрокинул и прогнал французских стрелков». За это сражение он был награждён золотой саблей с надписью «За храбрость».
Затем Гербель участвовал в преследовании армий Наполеона до Смоленска, в четырёхдневном сражении при Красном и, наконец, в сражении при Борисове. В 1812 г. Гербель был произведён в поручики.
По возвращении в Россию Гербель был произведён в капитаны, а в 1816 г. — в полковники; в 1818 г. назначен командиром конно-артиллерийской бригады при 1-й уланской дивизии и награждён орденом св. Владимира 3-й степени.
В 1826 г. произведён в генерал-майоры и назначен начальником артиллерии 3-го резервного кавалерийского корпуса.
С началом русско-турецкой войны Гербелю в 1828 г. было поручено формирование резервной артиллерии действующей армии. Возложенное на него поручение он исполнил со свойственной ему энергией и аккуратностью. Когда артиллерия была сформирована, обучена и снабжена снарядами, он был назначен начальником артиллерии Гренадерского корпуса и должен был отправиться в Старую Руссу. После Высочайшего смотра резервной артиллерии, представленной Государю её новым командиром, генерал-майором Бартоломеем, который указал Николаю I на заслуги своего предшественника, Гербель был награждён орденом св. Анны 1-й степени, а 25 декабря 1828 г. он получил орден св. Георгия 4-й степени (№ 4194 по списку Григоровича—Степанова).
В конце 1830 года вспыхнуло Польское восстание, и Гербель с командуемой им артиллерией Гренадерского корпуса принял деятельное участие в его подавлении. В продолжение всей войны он не потерял ни одного орудия и ни разу не потерпел неудачи.
Он был в делах при Куфлеве и Калушине, особенно же отличился под Остроленкой. Когда польский авангард был опрокинут за реку Нарев, Гербелю было приказано идти с четырьмя орудиями на ту сторону реки, под прикрытием гренадерской бригады Набокова, на помощь русскому авангарду. Под перекрёстным неприятельским огнем Гербель поставил свои орудия на высокой насыпи шоссе, впереди пехоты, и открыл огонь по наступавшим неприятельским колоннам. В течение пяти часов Гербель держался под убийственным огнем, отбивая яростные атаки неприятельской пехоты и кавалерии. За это сражение Гербель был награждён золотой саблей с алмазными украшениями и с надписью «За храбрость».
Штурм варшавских укреплений и главного из них, Воли, были последним военным подвигом Гербеля. 25 августа около 9 часов утра он получил приказание фельдмаршала начать бомбардирование Воли. Не делая ни одного выстрела, он шагом двинулся вперед, подвез свои тяжёлые орудия прямо на картечный выстрел, а легкие — на полукартечный, и открыл убийственный огонь по укреплению. Бомбардирование продолжалось не более получаса: неприятельские пушки были сбиты ядрами, пехота прогнана с валов картечью, после чего начался приступ. 18 октября 1831 года Гербель был удостоен ордена св. Георгия 3-й степени (№ 447 по кавалерским спискам)
В 1832 г. Гербель был назначен командиром Шосткинского порохового завода. Эту должность он занимал в течение 17 лет и привёл завод в блестящее положение. Полуразвалившиеся деревянные постройки были заменены новыми — каменными, болота и грязные овраги превратились в тенистые сады, улицы — в красивые аллеи. Все это достигалось Гербелем без особенных затрат для казны, лишь благодаря его хозяйственным способностям: он сумел значительно увеличить производство кирпича, часть леса, вырубаемого ежегодно в заводском лесу, также оставалась в экономии. Эти два источника и дали возможность Гербелю привести завод в должный порядок. За отличное управление заводом он был награждён орденами св. Анны 1-й степени с императорской короной и св. Владимира 2-й степени со звездой и в 1845 году произведён в генерал-лейтенанты, за устройство же капсюльного завода получил орден Белого Орла.
В 1849 г. он был назначен инспектором пороховых заводов, а в 1855 г. вышел в отставку и посвятил последние годы своей жизни сельскому хозяйству.
Скончался Гербель после долгой и тяжкой болезни 11 сентября 1870 года и погребён в Санкт-Петербурге на кладбище Воскресенского Новодевичьего монастыря.
Сын его — известный поэт и переводчик Николай Васильевич Гербель.
В некрологе, помещённом в газете «Голос», было сказано: «Как человек, Гербель отличался правдивостью, честностью и непреклонной энергией, в соединении с бесконечной добротой и снисходительностью. Этим своим качествам он обязан спасеньем своего семейства во время бунта в новгородских военных поселениях: бунтовщики, помня доброту и справедливость своего бывшего начальника, не только пощадили его семейство, но даже поставили стражу у ворот его дома.»