Родился в 1809 г. Образование получил в Артиллерийском училище, по окончании которого 1 января 1829 г. был произведён в прапорщики с оставлением при училище для продолжения наук.
Прослужив несколько лет в 5-й артиллерийской бригаде, Капгер участвовал в усмирении польского мятежа в 1831 г. и затем поступил в Императорскую военную академию, которую и окончил в 1838 г.
Переведённый в 1840 г. в Генеральный штаб, он в 1842 г. был командирован на службу в Кавказский корпус и участвовал во множестве дел с горцами в Дагестане и на Лезгинской линии в 1843—1848 и 1851—1854 гг. и получил за боевые отличия чины до генерал-майора (1852 г.), несколько знаков отличия и золотую саблю с надписью «За храбрость» (1851 г.). В 1852—1857 гг., занимал должность начальника штаба войск Кавказской линии и Черномории; 1 января 1858 г. был назначен Тифлисским военным губернатором. 26 ноября 1853 года награждён орденом св. Георгия 4-й степени (№ 9041 по кавалерскому списку Григоровича—Степанова)
28 января 1860 г. Капгер, по производстве в генерал-лейтенанты, был назначен сенатором и присутствующим в Межевом департаменте. В 1861 г. ему было поручено обревизовать Калужскую губернию, губернатор которой, известный деятель по устройству крестьян В. А. Арцимович, возбудил ненависть местных крепостников, жаловавшихся на него в Санкт-Петербург, где с переменой в личном составе министерства внутренних дел изменились тогда и взгляды на крестьянскую реформу. После ревизии Капгер блестящим образом аттестовал управление Арцимовича и в особенности вполне удовлетворительное введение положения о крестьянах. Вслед за тем, в 1862—1863 гг., Капгер произвёл ревизию Владимирской губернии. По окончании этого поручения Капгер удостоился Высочайшего благоволения за беспристрастное донесение о ходе крестьянской реформы в Калужской губернии.
Умер 30 ноября 1876 г. Его брат, Иван Христианович, был известным военным юристом.