Родился в 1755 году. Как значится в его формулярном списке, он происходил «из дворян Прусской нации реформаторского закона» и, по словам его сына, инженер-генерал-майора Константина Карловича Жерве, оставившего обстоятельные «Воспоминания», в которых упоминает о многих своих родных, Карл Еремеевич был одним из трёх братьев, прибывших в Россию около 1760—1761 гг. Формуляр отмечает, что он начал службу кадетом 1 декабря 1772 г. и прапорщиком в лейб-гвардии Измайловском полку 31 июля 1775 г. В следующем году он поступил на службу в Сухопутный шляхетный кадетский корпус, где дослужился до чина «кадетского капитана» и в 1785 г. выпущен премьер-майором в Кексгольмский пехотный полк, откуда переведён в морские батальоны.
В апреле 1790 года был командирован на 100-пушечный корабль «Двенадцать апостолов» эскадры вице-адмирала Сухотина и принимал участие в плавании по Финскому заливу. 23 и 24 мая того же года Жерве принимал участие в сражении при Красной горке, состоя под командой адмирала Круза, а затем, по соединении с Ревельской эскадрой, атаковал шведский флот в Выборгской губе. Он участвовал также 22 июня в преследовании до Гельсингфорса, прорвавшегося неприятельского флота.
В 1793 г. Жерве был переведён в Великолуцкий пехотный полк, где в 1798 г. был произведён в полковники и в следующем же году в генерал-майоры с назначением шефом сначала в Елецкий мушкетёрский полк (15 октября) и через две недели (30 октября) шефом же в Черниговский мушкетёрский полк. 2 ноября 1800 г. Жерве был переведён в лейб-гвардии Семёновский полк, а через два месяца назначен комендантом Кексгольмской крепости. Сравнительно быстрое повышение по службе именно в годы царствования императора Павла следует объяснить благоволением к нему этого государя, со смертью которого Жерве, как сам потом говаривал, потерял много. 4 февраля 1802 г. он был назначен шефом в Выборгский гарнизонный полк, 26 ноября 1803 г. за беспорочную выслугу 25 лет в офицерских чинах был удостоен ордена св. Георгия 4-й степени (№ 1503 по списку Григоровича—Степанова).
В 1809 г. Жерве принял участие в русско-шведской войне, с апреля по декабрь состоя в Карельском резервном корпусе, действовавшем между Куопио и Улеаборгом, причём, между прочим, получил поручение транспортировать провианты и фураж от Нейшлота водой, частью на канонерских, частью на обывательских лодках, через пороги до Улеаборга.
По окончании шведской войны, в ноябре 1809 г. Жерве был назначен комендантом Выборгской крепости, оставаясь и шефом Выборгского полка (шефом числился до 17 января 1811 г.), «за исправность» которого удостоился (в 1811 г.) получить Высочайшее благоволение.
Когда нашествие Наполеона в Россию угрожало безопасности Санкт-Петербурга, отсюда на кораблях были высланы в Выборг на попечение Жерве, как коменданта, драгоценности из Эрмитажа и Зимнего дворца — картины, бриллианты и разное имущество царской фамилии, при собственноручном письме императора Александра I. Все эти ценности сохранялись в Выборгском замке до весны 1818 г.
Отличительными чертами его были общительность и широкое гостеприимство, которое местное общество умело ценить. Помимо членов его большой семьи, за комендантским столом к обеду собирались его сослуживцы, а также почетные лица как местные, так и приезжавшие в Выборг. В праздничные дни приемы у коменданта отличались особою торжественностью. По поводу одного из них сохранился любопытный приказ военного министра Барклая де Толли: «Дошло до сведения, что минувшего августа 30 числа во время обеденного стола у Выборгского Коменданта генерал-майора де Жерве по приказанию его произведена была с крепости пушечная пальба, каковая Высочайшим указом 1796 г. декабря в 7 день и последовавшими предписаниями в викториальные и другие праздничные дни запрещена; за что сделав означенному генерал-майору де Жерве выговор, объявляю о том и по всей армии».
К. Е. Жерве скончался в 1818 г. и погребён в Выборге, на кладбище за Петербургским форштатом. Он был два раза женат на родных сестрах Наталье и Дарье Вейраух и умер, оставив большую семью. Среди нескольких его сыновей, кроме Константина, известность получил и Александр, который с отличием участвовал в Наполеоновских войнах и впоследствии был Тобольским комендантом.