Родился в семье военного инженера.
В 1905 году закончил Морской кадетский корпус, в 1912 году — офицерские артиллерийские классы.
Участник 1-й мировой войны, флагманский артиллерист бригады линейных кораблей, старший офицер линейного корабля «Слава» (капитан 2-го ранга).
В начале 1917 года, на момент Февральской революции, был капитаном 1-го ранга.
В 1917 году, будучи командиром эскадренного миноносца «Туркменец Ставропольский», перешёл на сторону большевиков.
Участвовал в Ледовом походе Балтийского флота в феврале — мае 1918 года. В 1918—1919 годах командовал эскадренным миноносцем «Мечеслав», крейсером, был начальником штаба отряда действующих судов Балтийского моря.
В 1919 году — командир линейного корабля «Андрей Первозванный».
С 1921 года начальник минной дивизии, затем — начальник штаба морских сил Балтийского моря.
В 1926 году закончил академические курсы при Военно-морской академии.
С 1927 года — командующий бригадой линейных кораблей Балтийского моря. С 1932 года — командующий Балтийским флотом. С введением в РККА персональных званий — флагман флота 2-го ранга.
С 1937 года — заместитель начальника морских сил Наркомата обороны СССР. С 1938 года — начальник Главного морского штаба. С 1940 года — заместитель наркома ВМФ по кораблестроению и вооружению.
Во время Великой Отечественной войны руководил разработкой новых кораблей и строительством новых судов флота.
С 1947 года — начальник Военно-морской академии кораблестроения и вооружений имени А. Н. Крылова.
19 декабря 1947 года Галлер вместе с адмиралами Н. Г. Кузнецовым, В. А. Алафузовым и Г. А. Степановым был предан «суду чести» по обвинению в том, что в 1942—1944 годах они передали Великобритании и США материалы по высотной парашютной торпеде, образцы этого оружия, карты двух островов и южного побережья Камчатки. Суд чести признал их виновными и передал дело в Военную коллегию Верховного суда СССР. 3 февраля 1948 года Галлер был приговорен к 4 годам лишения свободы по п. 17-а статьи 193 УК РСФСР. 20 февраля 1950 года он был помещен в Казанскую психиатрическую больницу МВД СССР, а 12 июля скончался. В 1953 году он был реабилитирован.