Учился в Гамбурге у Карла Мука и в Лейпциге у Германа Грабнера и Роберта Тайхмюллера. Первоначально начал карьеру пианиста, но быстро перешёл к дирижированию. С 1926 по 1934 работал в Рудольштадте, Кайзерслаутерне и Висбадене. В 1934 возглавил оркестр в Висбадене, в 1937 — Штутгартскую оперу, в 1944 занял аналогичную должность в опере Бреслау.
В 1946—1948 Герберт Альберт был капельмейстером и главным дирижёром Лейпцигского оркестра Гевандхауза, в 1950—1952 руководил оперным театром в Граце, а в 1952—1963 — Национальным театром Мангейма. После этого Альберт сосредоточился на исполнении фортепианных концертов в качестве пианиста и дирижёра одновременно.