Учился в Мюнхенской высшей школе музыки у Вальтера Браунфельса, затем в Кёльне у Эдуарда Эрдмана. Позднее преподавал в Кёльнской, а после прихода к власти в Германии нацистов — в Базельской консерватории. Среди учеников Баумгартнера, в частности, пианисты Альфред Брендель и Арье Варди, дирижёр Гюнтер Ванд.
Баумгартнер был постоянным участником фестивалей, проводившихся Пабло Казальсом.
В 1962 г. ему была присуждена премия в области культуры города Санкт-Галлен.