Родился 31 октября 1814 г. На службу поступил 30 января 1831 г.; по окончании старших курсов артиллерийского училища, был произведён в офицеры 25 января 1832 г., a 23 июля 1834 г. переведён во 2-ю Гвардейскую артиллерийскую бригаду прапорщиком. Через 3 года произведённый за отличие в подпоручики, он вскоре затем был назначен состоять при артиллерийском училище.
В начале марта 1844 г., как выдающийся знаток артиллерийского дела, был назначен учёным секретарем артиллерийского отдела Военно-учёного комитета Главного артиллерийского управления.
Откомандированный затем в Пажеский корпус, Баумгарт 23 марта 1847 г. произведён в капитаны, а три месяца спустя за отличие — в полковники. Зачисленный по артиллерии и продолжая службу в Пажеском корпусе, Баумгарт, с апреля 1849 по 29 января следующаго года состоял для поручений при штабе генерал-фельдцейхмейстера, a затем был назначен членом комитета по улучшению штуцеров и ружей, с оставлением на службе в Пажеском корпусе.
Во время Крымской войны Баумгарт был адъютантом великого герцога Георгия Мекленбург-Стрелицкого, с 19 марта 1854 г. по 8 сентября 1855 г. — день производства его в генерал-майоры.
В следующем году Баумгарт награждён орденом св. Владимира 3-й степени, а в марте 1858 г. назначен помощником инспектора стрелковых батальонов и 1 июня 1860 г., сверх того, также и заведующим резервными стрелковыми батальонами (до начала мая 1862 г.).
Около полугода спустя, Баумгарт получил назначение в начальники штаба 6-го армейского корпуса, а в августе 1864 — Московского военного округа, откуда в марте 1866 г. поступил в совещательные члены оружейного отдела артиллерийского комитета главного артиллерийского управления. В генерал-лейтенанты Баумгарт произведён 30 августа 1863 г., а в генералы от артиллерии 25 ноября 1882 г.
Из высших орденов Баумгарт имел все до св. Владимира 2-й степени включительно, а в 1883 г. награждён знаком отличия беспорочной службы за 50 лет.
Умер в Санкт-Петербурге 11 сентября 1893 года. Похоронен на Никольском кладбище Александро-Невской лавры.