Сын офицера польской армии, происходил из польского дворянского рода немецкого происхождения (Герштенцвейг-Енчминские) и родился в 1790 г.
В 1805 г. поступил юнкером в гвардейский артиллерийский батальон и принял участие в первом походе против Наполеона. Произведённый в 1807 г. в подпоручики в Московскую (3-ю) резервную артиллерийскую бригаду, он участвовал в походе против Австрии 1809 года и в Отечественной войне 1812 года. За отличие в сражениях при Смоленске, Бородине и Малоярославце (здесь он был ранен и контужен, но остался в строю) Герштенцвейг был награждён орденами св. Анны 4-й степени и св. Владимира 4-й степени с бантом и чином поручика.
В мае 1813 г. он был переведён в гвардейскую конную артиллерию и с 1-й батареей участвовал в войне за освобождение Европы, причём был в семи сражениях и особенно отличился при Фер-Шампенуазе, за что получил золотую саблю с надписью «За храбрость» и прусский орден «Pour le m?rite».
В 1814 г. Герштенцвейг был назначен командиром полубатареи гвардейской конной артиллерии, которая входила в состав войск, бывших в Варшаве под начальством цесаревича Константина Павловича. Герштенцвейгу вменено было в обязанность всемерно заботиться о том, чтобы его полубатарея, составленная «из отличнейших господ офицеров, нижних чинов и лошадей», была «образцовой» и служила примером как для русских, так и для формируемых польских войск.
В декабре 1816 г. он был произведён в полковники и через несколько месяцев назначен командиром батареи гвардейской конной артиллерии, а в марте 1818 г. — командиром гвардейской лёгкой батареи № 3 и гвардейской пешей батарейной роты № 5. Конная батарея Герштенцвейга выделялась «правильными и быстрыми движениями», «искусством в учении» и поставленной в совершенстве стрельбой.
В 1821 г. он был назначен бригадным командиром гвардейской и гренадерской артиллерии Литовского корпуса, а в 1823 г. — начальником гвардейской артиллерии резервного корпуса войск, состоявших под начальством цесаревича.
Произведённый 27 апреля 1826 г. в генерал-майоры, Герштенцвейг 19 декабря 1829 г. получил орден св. Георгия 4-й степени за беспорочную выслугу 25 лет в офицерских чинах (№ 4319 по списку Григоровича—Степанова) и в том же году — орден св. Станислава 1-й степени. В следующем назначен дежурным генералом главного штаба цесаревича Константина Павловича.
Когда в Польше вспыхнуло восстание и цесаревич оставил Варшаву, Герштенцвейг 30 ноября привёл к нему шесть орудий из местечка Гуры и уговаривал его, как рассказывает Мохнацкий в своих «Записках», употребить артиллерию для усмирения города. Относясь к Герштенцвейгу с большим доверием, Цесаревич согласился было с ним, но затем взяло верх мнение адъютанта цесаревича, графа Владислава Замойского, доказывавшего, что удобный момент уже пропущен и картечь не в состоянии задержать хода революции.
В 1831 г. Герштенцвейг участвовал в военных действиях против польских мятежников и был награждён орденами: св. Анны 1-й степени — за сражение при деревне Игане и св. Владимира 2-й степени — за дело при местечке Рационж, где был контужен в шею. 22 марта 1831 г. он был награждён орденом св. Георгия 3-й степени (№ 423 по кавалерским спискам)
В течение польской войны Герштенцвейгу было поручено устройство переправы для армий у деревни Тырчин и обеспечение её, укрепление Ломжи, прикрытие отрядом правого фланга армии, открытие сообщений с отрядом генерала Ридигера и форсированное преследование неприятеля, устройство моста в районе Кальварии и других; за отличное исполнение этих поручений он был произведён 10 июня (по другим данным — 18 октября) в генерал-лейтенанты. Также он получил польский знак отличия за военное достоинство (Virtuti Militari) 2-й степени.
По окончании войны Герштенцвейг был назначен начальником артиллерии отдельного гвардейского корпуса, а в 1835 г. — командиром сводного кавалерийского корпуса. Состоя в этой должности, он управлял новороссийскими военными поселениями, которые обязаны ему удачными опытами устройства садов и разведения лесов. В 1837 г. награждён орденом Белого орла.
В 1845 г. Герштенцвейг получил чин генерала от артиллерии и в 1847 г. — орден св. Владимира 1-й степени. В 1848 г. ему было поручено командование войсками (6 дивизий), которые по соглашению с турецким правительством должны были подавить возникшие в Молдавии беспорядки. Вскоре сильное расстройство здоровья отразилось на его душевном состоянии: ошибка в исполнении Высочайшего повеления относительно перехода войск через Прут привела Герштенцвейга в такое отчаяние, что он просил об увольнении от командования. Получив отпуск, он отправился в Россию и на пути, в местечке Леове, в Бессарабии, находясь в карантинной обсервации по случаю холеры, под влиянием тяжелого нравственного состояния, застрелился 14 августа 1848 г.
Современники оставили о Герштенцвейге, как о человеке, самые противоречивые воспоминания: по словам бывшего его адъютанта Михаила Золотарёва, он принадлежал к числу образованнейших боевых генералов своего времени. Будучи гуманным начальником, поощряя инициативу подчиненных и не позволяя себе вмешиваться в их распоряжения, Герштенцвейг никогда не создавал мучения для инспектируемых им частей; его смотры, как свидетельствует Золотарёв, никогда не длились более часу, а конные учения были поистине образцовыми и производились с замечательной быстротой. Особенно строго преследовал Герштенцвейг битье солдата: «Битьём не выучишь, а испортишь», — сообщает Золотарёв слова Герштенцвейга.
Автор же статьи в «Русской старине» о последней польской смуте, скрывшийся под псевдонимом «Очевидец», наоборот, рисует его аракчеевцем в полном значении слова, ярым поборником прежней системы обращения с солдатами.
Герштенцвейг был женат на дочери польского генерала Мадалинского, сподвижника Костюшки. Их сын Александр был Варшавским военным генерал-губернатором и в 1861 году, вследствие ссоры с Варшавским наместником графом Ламбертом, также застрелился.