И. И. Рерберг — представитель четвёртого поколения династии инженеров Рербергов. Отец, Иван Фёдорович Рерберг (1831—1917) — железнодорожный инженер, впоследствии управляющий Нижегородской железной дороги — в год рождения младшего сына (1869) работал в Москве, проектируя первый Бородинский мост.
И. И. Рерберг обучался в кадетском корпусе, служил в сапёрных войсках, в 1896 окончил петербургскую Военно-инженерную академию в звании военного инженера. Работал на строительстве Харьковского паровозостроительного завода. В 1895—1899 годах работал на постройке городской канализации в Москве. С конца 1897 года — один из заместителей Р. И. Клейна на постройке здания Музея имени Пушкина в Москве. Впоследствии, Рерберг неоднократно работал главным инженером и управляющим работами на клейновских проектах, таких как здание магазина Мюр и Мерилиз (ЦУМ, 1907—1908), клиники на Девичьем Поле, ремесленное училище на Миусской площади (1903). В 1906—1918 годах И. И. Рерберг преподавал архитектуру в МУЖВЗ, был учредителем и преподавателем Высших женских архитектурных курсов. В советский период — профессор МВТУ имени Баумана.
Крупные работы Рерберга опирались (в том числе в буквальном смысле) на новаторские по тем временам решения силового каркаса с использованием клёпаных стальных и железобетонных конструкций. Рерберг, сам первоклассный проектировщик, сотрудничал с В. Г. Шуховым и В. К. Олтаржевским. Строил он и традиционные для Москвы особняки, такие, как дом Урусова (ныне посольство Индонезии), на Новокузнецкой, 12 и 14.
Самая значительная постройка Рерберга после 1917 — Центральный телеграф на Тверской (1927). В 1934, после смерти архитектора, завершено строительство начатого в 1930 здания общевойсковой школы РККА в Кремле (на месте снесённых Чудова монастыря и Вознесенской церкви).
Похоронен в Москве, на Введенском кладбище. Могила И. И. Рерберга является объектом культурного наследия федерального значения.
Гимназия в Большом Казённом переулке
Северное Страховое общество
Здание Центрального телеграфа
Киевский вокзал