В 1954 закончил юридический факультет Ленинградского государственного университета (ЛГУ), а в 1961 — Ленинградский политехнический институт им. М. И. Калинина по специальности «электрофизика». Работал преподавателем в техникуме, затем занимался научной работой в Физико-техническом институте им. А. Ф. Иоффе.
15 декабря 1990 года избран членом-корреспондентом АН СССР (с 1991 года — членом-корреспондентом РАН) в отделение физико-технических проблем энергетики по специальности «Электротехника, в том числе электрофизика».
В 1991 году стал директором Института проблем электрофизики и электроэнергетики РАН, расположенного в Санкт-Петербурге
26 мая 2000 года избран академиком РАН. Тогда же избран членом президиума РАН.
Мировую известность получил после создания импульсных систем энергопитания на базе электромашинных агрегатов. Признанный в мире специалист в области физики мощных разрядов в плотных газовых средах. Автор многочисленных публикаций и монографий по физике газовых разрядов. Обеспечил первенство российских учёных в плазменных технологиях, использование которых резко снижает объёмы вредных выбросов в атмосферу. В России Рутберг известен как пропагандист и практик энергетики, основанной на уничтожении органического и муниципального (городского) мусора. Рутберг полагает, что наряду с плазмохимией и плазменной металлургией российский плазматрон (иногда плазмотрон) как газоразрядное устройство для получения низкотемпературной плазмы мог в большей степени быть востребованным как для решения глобальных энергетических проблем человечества, так и для разрешения ситуации с отходами (мусором) в российских мегаполисах. Неоднократно делал заявления относительно того, что строительство полигонов для утилизации мусора остается «порочной практикой» при решении глобальной проблемы современного мира. Выражал обеспокоенность тем, что при невостребованности научных разработок продолжается загрязнение водных и почвенных ресурсов Земли. Выходом из сложившейся ситуации считает повсеместное применение технологии плазменного пиролиза вещества, в ходе которого происходит максимально возможное обезвреживание органических отходов, составляющих до 98 % всей массы мусора. Инновационные разработки основывал на формуле, согласно которой переработка одного килограмма мусора может дать не менее 2 киловатт-часов электроэнергии.