Обучался в Петроградской консерватории по классам композиции у Александра Глазунова, Василия Калафати, Язепса Витолса, Михаила Чернова и дирижирования ? у Николая Черепнина.
В 1917 году стал дирижёром Петроградского театра музыкальной драмы, с 1923 по 1931 работал в Ленинградском театре оперы и балета (дирижировал в основном балетными спектаклями).
В 1930—1934 возглавлял симфонический оркестр Ленинградской филармонии, а в 1936 стал первым главным дирижёром только что созданного Государственного академического симфонического оркестра СССР и руководил им до 1941 года, наконец, в 1953—1963 годах руководил Большим симфоническим оркестром Гостелерадио СССР.
Гаук вёл активную педагогическую деятельность, преподавал в Ленинградской (1927—1933 и 1946?1948), Тбилисской (1941—1943), Московской (1939—1963, с 1948 ? профессор) консерваториях, среди его учеников — Евгений Мравинский, Александр Мелик-Пашаев, Константин Симеонов, Эдуард Грикуров, Николай Рабинович, Евгений Светланов, Геннадий Проваторов. Он автор ряда оригинальных сочинений: симфонии, концертов для фортепиано и для арфы с оркестром, фортепианных и камерных произведений, оркестровок сочинений Михаила Глинки («Патриотическая песнь»), Петра Чайковского («Времена года»), Мусоргского (неоконченной оперы «Женитьба»).
Гаук обладал хорошим чувством оркестрового ансамбля и стиля произведения. Под его управлением звучали сочинения Хачатуряна, Мясковского, Шапорина, Шостаковича, Овчинникова и других современных композиторов (многие из которых были исполнены впервые), наряду с классическим репертуаром (сочинениями Генделя, Баха, Берлиоза). 13 ноября 1945 именно Гаук продирижировал восстановленной Первой симфонией Рахманинова, не исполнявшейся до того в течение почти 50 лет. Выступал с гастролями в разных странах. В 1954 году ему было присвоено звание Народного артиста РСФСР.
В 1975 годы было опубликовано издание «Мемуары, избранные статьи, воспоминания современников Александра Гаука».