Родился 21 апреля 1817 г. По окончании курса Пажеского корпуса, в 1834 г., в чине прапорщика выпущен в Лейб-гвардии конную артиллерию, откуда, четыре года спустя, поступил в Императорскую военную академию, где оставался до исхода 1840 г.
Зачисленный вслед затем в Генеральный штаб, принял участие в делах против горцев на Кавказе и получил за отличие ордена: св. Анны 4-й степепени и 3-й степени с бантом. По возвращении с Кавказа, состоял два года адъюнкт-профессором военной академии, в 1853 г. был назначен инспектором Александровского института в Москве; в 1862 г. произведён в генерал-майоры и 1 мая 1864 г. определён на должность директора 1-й Санкт-Петербургской военной гимназии.
Тринадцатилетняя деятельность Баумгартена в качестве директора оставила о нём лучшую память, как об отличном педагоге и воспитателе; под его руководством произведено было, между прочим, переустройство корпуса в 1-ю военную гимназию.
5 июня 1877 г. он был назначен членом Военно-учёного комитета Главного штаба и в этом звании получил за отличие чин генерал-лейтенанта.
Умер 16 сентября 1880 г.