Сын Выборгского коменданта, Карла Еремеевича Жерве, Александр Карлович родился 26 октября 1779 г. и по окончании курса наук во 2-м кадетском корпусе, 13 декабря 1798 г. выпущен подпоручиком в 1-й осадный артиллерийский батальон.
Когда в декабре 1806 г. формировался Императорский батальон милиции, великий князь Константин Павлович, по поручению императора Александра I, лично выбирал офицеров для этого батальона, сформированного отчасти на средства и при особом участии царской семьи и положившего начало новому лейб-гвардии Финляндскому полку. Жерве, в чине поручика, был избран царевичем, как один из достойнейших офицеров, и весной следующего года выступив в Прусский поход против Наполеона, участвовал в сражениях с французами при Гуттштадте, Гейльсберге и Фридланде, причём за боевые отличия награждён золотой шпагой с надписью «За храбрость».
К 1812 году Жерве был уже полковником и, командуя в лейб-гвардии Финляндском полку 3-м батальоном, отличился с ним в Бородинском бою, где по словам официального донесения, «с отличною храбростью, закричав „ура“ бросился в штыки и опрокинул неприятеля». В этом же сражении он был ранен пулей в правую ногу навылет и для излечения раны отправлен в Касимов, где пробыл три с половиной месяца. За отличие под Бородиным он награждён орденом св. Анны 2-й степени с алмазными знаками.
В Заграничном походе 1813—1814 гг. Жерве снова находился в строю и продолжал командовать своим батальоном, с которым участвует в делах под Лютценом, Бауценом, Кульмом и Лейпцигом. За отличие под Лютценом он получил орден св. Владимира 3-й степени.
Сражение под Лейпцигом 4 октября 1813 г. было особенно знаменательно в жизни Жерве. Участник этого выдающегося боя А. Н. Марин, первый историограф лейб-гвардии Финляндского полка, говорит: «В сражении под Лейпцигом, когда Финляндский полк вытеснял из селения Госсы французов, а 8-й батальон полка обошёл селение, батальонный командир полковник Жерве с своими офицерами первые перелезли через каменную ограду и егеря бросились за ними, погнали уже французов; но, быв окружены многочисленным неприятелем крепко отстаивали свое место; многие офицеры были ранены; тогда гренадер Коренной, пересадив батальонного командира Жерве и других раненых начальников своих через ограду», сам продолжал защищаться, пока, получив 18 ран, не был взят в плен. О подвиге Коренного было донесено Наполеону, который отпустил его из плена. Самый же подвиг, по Высочайшему повелению, увековечен известной картиной художника Бабаева, который изобразил Коренного, спасающего Жерве.
Вследствие тяжелого ранения командира полка М. К. Крыжановского и старшего полковника, Жерве в сражении под Лейпцигом принял командование полком. Ему же пришлось повести полк и в дальнейший поход, перейти с союзными войсками Рейн и принять участие в занятии Парижа. При обратном следовании с полком через Берлин он был здесь награждён прусским орденом «Pour le m?rite». 8 января 1815 года А. К. Жерве был награждён орденом св. Георгия 4-й степени (№ 2985 по списку Григоровича—Степанова)
В том же 1815 году Жерве женился на Е. П. Писемской и по этому случаю император Александр I пожаловал ему 2000 рублей ассигнациями. В следующем году, 25 февраля, он был назначен командиром 2-го егерского полка, которым, впрочем, командовал недолго, поскольку 30 августа был произведён в генерал-майоры с назначением состоять при начальнике 21-й пехотной дивизии. В этой дивизии, после небольшого периода командования резервными батальонами 9-й пехотной дивизии, Жерве командовал в течение десяти лет (с 1817 по 1827 год) 3-й бригадой. После этого он получил под начало 1-ю пехотную дивизию, которой командовал около четырёх лет.
Во время Польской войны 1831 г. он находился в составе корпуса графа Палена 1-го, командовал 16-й пехотной дивизией и за отличия в сражении на Гроховских высотах и при взятии Минска, награжден орденом св. Анны 1-й степени и польским знаком «Virtuti militari» 2-й степени. В ноябре 1831 г. назначен начальником 14-й пехотной дивизии, которой прокомандовал около двух лет.
6 декабря 1833 г., в чине генерал-лейтенанта, он получил последнее назначение — коменданта Тобольска и в этой должности оставался до 31 декабря 1839 г., когда по расстроенному здоровью был уволен от службы с мундиром и пенсией.
Значительную часть времени по выходе в отставку он проживал в Париже и где скончался в 1858 году.