Родился в Москве, в 1955 окончил МГУ и поступил в аспирантуру при Институте теоретической астрономии АН СССР в Ленинграде. С 1958 работает в этом институте (с 1964 — заведующий отделом небесной механики).
Основные труды в области небесной механики и теоретической астрономии. В области качественной небесной механики построил ряды полиномов в задаче трех тел, сходящиеся для любого вещественного момента времени. В аналитической небесной механике получил важные результаты в теории специальных функций и разработал метод определения возмущений в прямоугольных координатах, основанный на разделении членов короткого и долгого периодов. Полученные им разложения возмущающей функции были реализованы в теории движения Луны и ее искусственных спутников. Впервые развил методы практического построения общей планетной теории, то есть теории движения больших планет в чисто тригонометрической форме. С начала 1970-х годов под его руководством были созданы системы проведения аналитических операций на ЭВМ над длинными полиномиальными тригонометрическими рядами, рациональными функциями от многих переменных, тензорами общей теории относительности. Эти системы получили широкое распространение в СССР, и не только в рамках небесной механики. В 1980-х годах основное место в работах Брумберга занимают релятивистская небесная механика и эфемеридная астрономия. Им построена релятивистская теория движения Луны, открыта релятивистская взаимосвязь поступательного и вращательного движения планет, сформулированы релятивистские уравнения движения планет и спутников в широком классе наиболее употребительных квазигалилеевых систем координат, предложена инвариантная процедура сопоставления измеряемых и вычисляемых величин, разработаны методы релятивистской редукции оптических и радиотехнических измерений в астрономии и геодинамике. Автор монографии «Релятивистская небесная механика» (1972), являющейся основным современным руководством по учету релятивистских эффектов в задачах небесной механики.
Лауреат Государственной премии СССР (1982), Премия Дирка Брауэра (2008). Заслуженный деятель науки Российской Федерации (1999).