Карло ди Джованни (Карл Иванович) Росси родился 18 (29) декабря 1775 года в Неаполе. С 1787 года вместе с матерью, балериной Гертрудой Росси, и отчимом, выдающимся балетным танцором Шарлем Ле Пиком, жил в России, в Санкт-Петербурге, куда был приглашен его знаменитый отчим.
Будучи с детства связанным с миром искусств, Росси обучался у архитектора Винченцо Бренна. В 1795 он поступает на службу в Адмиралтейскую коллегию архитектуры чертёжником. С 1796 был помощником Бренна на строительстве Михайловского замка. В 1801 году становится архитектурным помощником 10 класса. В 1802 Росси получает заграничную командировку для завершения образования и уезжает на два года в Италию.
В 1806 году Росси становится архитектором Кабинета. Однако сначала он получает работу не как архитектор, а как художник на фарфоровом и стеклянном заводе. В августе 1808 Росси командируется в Москву, в Экспедицию кремлёвского строения. Из московских произведений зодчего (неоготическая Екатерининская церковь в Кремле, деревянный театр на Арбатской площади) практически ничего не сохранилось. В 1809 году Росси занимается перестройкой Путевого дворца Екатерины II в Твери.
В 1815 году Росси возвращается в Санкт-Петербург. В 1816 он назначен членом Комитета строений и гидравлических работ. К ранним работам Росси в Петербурге и его окрестностях относятся реконструкция Аничкова дворца (1816), ряд павильонов и библиотека в Павловском дворце (1815—1822), Елагин дворец с оранжереей и павильонами (1816—1818).
Главной сферой деятельности Росси стало создание городских архитектурных ансамблей. Во многом благодаря ему Петербург обрёл новое лицо, превратившись в центр гигантской империи, гордой своими победами над Наполеоном. Его проекты имели гармоническое сочетание архитектурных форм с аллегорической скульптурой, новаторские конструктивные приёмы (например, металлические перекрытия).
Выдающееся архитектурное и градостроительное мастерство Росси воплощено в ансамблях Михайловского дворца с прилегающими к нему садом и площадью (1819—1825), Дворцовой площади с грандиозным дугообразным зданием Главного Штаба и триумфальной аркой (1819—1829), Сенатской площади со зданиями Сената и Синода (1829—1834), Александринской площади со зданиями Александринского театра (1827—1832), нового корпуса Императорской публичной библиотеки и двумя однородными протяжёнными корпусами Театральной улицы (ныне улица зодчего Росси).
Войдя в конфликт с окружением Николая I, Росси в 1832 ушел в отставку, уволившись «от всех занятий по строениям». Одной из последних построек Росси была колокольня Юрьева монастыря близ Великого Новгорода.
Архитектор умер 6 (18) апреля 1849 года в Санкт-Петербурге. Был похоронен на Волковом лютеранском кладбище. Перезахоронен в некрополе Александро-Невской лавры.