Начав работу в стиле модерн, в начале 1910-x гг. Фомин стал ведущим мастером петербургской неоклассической школы. В 1920-е гг. разрабатывал теорию и практику «пролетарской классики». В 1920-е гг. стал одним из основателей сталинской архитектуры.
По окончании гимназии в Риге, учился в Петербургской Академии художеств по классу Л. Н. Бенуа. В 1896 был исключен из Академии по политическим мотивам, продолжил обучение в Париже, и через год в Москве сдал экзамен на право заниматься архитектурной практикой.
Работал в Москве в фирмах Л. Н. Кекушева и Ф. О. Шехтеля, в том числе на шехтелевских проектах особняка Рябушинского и реконструкции Художественного театра. В 1900 построил своё первое здание в Скатертном переулке.
В 1902 году Фомин совместно с И. Е. Бондаренко и Ф. О. Шехтелем организовал в Москве выставку «Искусств и архитектуры Нового стиля». Однако попытки создания «нового» сообщества архитекторов в те годы не увенчались успехом.
В 1903 году в эскизах Фомина наметился отход от модерна к неоклассике. В 1904 году он выступил в журнале «Мир Искусства» с программным заявлением в защиту александровского ампира. В 1908 году Фомин становится одним из участников труда по истории русского искусства, возглавляемого И. Э. Грабарём. В 1911 году он организует «Историческую выставку архитектуры».
В 1905 году Фомин вернулся в Петербург, чтобы закончить академический курс. В 1909 году он предоставляет на конкурс Академии художеств композицию на тему «Курзал на Минеральных Водах» и получает звание художника-архитектора. Ему была присуждена заграничная командировка, во время которой он выполнил крупную серию офортов.
В 1911—1913 годах Фомин строит в Петербурге дом Половцева на Каменном острове и дом князя Абамелик-Лазарева (набережная реки Мойки, 21). В эти же годы он проектирует дом Оболенского на озере Сайма и дом А. Г. Гагарина в имении Холомки в Псковской губернии.
В 1912 году по проектам Фомина построены памятники русским воинам, павшим в 1812 году — обелиски в Витебске и Борисове и колонна в Волковыске.
Крупнейший проект Фомина — реконструкция острова Голодай — был прерван началом Первой мировой войны. В 1911 году английская девелоперская компания выкупила восточную часть острова Голодай под строительство жилого района для среднего класса и пригласила для проектирования Ивана Фомина и Фёдора Лидваля. Фомин предложил реализовать большую ансамблевую композицию в палладианском стиле, получившую название «Новый Петербург». До начала военных действий 1914 года по проекту Фомина были завершены два полукруглых корпуса (№ 2 и 10 по нынешнему переулку Каховского).
В 1915 году Фомин был избран академиком архитектуры.
Преподаватель Высших Женских Политехнических курсов (в 1915 г. преобразованы в Женский Политехнический институт, в 1918 г. во Второй Петроградский Политехнический институт).
Первыми работами Фомина советского периода были проект Дворца рабочих Нарвского района (1919) и конкурсный проект крематория в Петрограде.
Под руководством Фомина летом 1920 была проведена работа по декоративному оформлению Каменного острова и создан проект планировки и озеленения Марсова поля. В этот же период Фомин принял активное участие в проектной работе по планировке Петрограда.
В первое советское десятилетие Фоминым выполнены конкурсные проекты здания общества «Аркос» в Москве (1924), Дома Советов в Брянске (1924), Промбанка в Свердловске (1925). По его проектам были построены Политехнический институт (1927), научная библиотека в Иваново-Вознесенске и санаторий «Ударник» в Железноводске (1928), Дом Совета Народных Комиссаров УССР (1937).
Начиная с середины 1920-х годов, Фомин разрабатывает архитектурную концепцию «пролетарской классики», использующую предельно упрощённые, лаконично строгие формы, соответствующие логике построения железобетонных конструкций. Но хотя железобетон был для Фомина средством, создающим новые конструктивные возможности, он всё же считал, что «на крепкий костяк из железобетона следует надеть мясо из кирпича и камня; эта декорация есть наш архитектурный язык». Преобразуя ордерный декор в современные формы «красной дорики», Фомин приходит к выводу, что требованиям композиции современных высоких зданий отвечает спаренная колонна без баз и капителей, отсутствие традиционного антаблемента, отсутствие стенных плоскостей (так как оконный проём начинается непосредственно от колонны).
В 1929 Фомин переезжает из Ленинграда в Москву. Здесь по его проектам строятся дом общества «Динамо», выходящий своими фасадами на улицу Дзержинского, Фуркасовский переулок и Малую Лубянку (1928 г.; соавтор А. Я. Лангман), новый корпус здания Моссовета, выходящий на улицу Станкевича (1928 г.; соавтор Олтаржевский Г. К.), здание НКПС у Красных ворот (1930). Во всех этих зданиях наблюдается заметное влияние конструктивизма.
После того, как на июньском пленуме ЦК ВКП(б) 1931 года были приняты решения по «перестройке советской архитектуры», архитектурная жизнь в Советском Союзе принципиально изменилась, будучи поставленной под тотальный контроль высшего партийного руководства и лично И. В. Сталина. Начало 1930-х годов — это эпоха «бумажных проектов», в ходе которых происходило прояснение требований руководства к архитектуре. В этот период Фомин создаёт проекты ряда крупных общественных сооружений: дворца-музея транспортной техники, Курского вокзала в Москве, театра Красной Армии. Все эти проекты характеризуются преувеличенным вниманием к внешнему декору, в них вводятся такие элементы классического стиля, как портики, ротонды и аркады, а в их оформлении используются скульптуры и рельефы.
В 1933 году Фомин получает предложение руководить архитектурно-проектной мастерской Моссовета № 3. Среди учеников Фомина — П. В. Абросимов, А. И. Гегелло, Е. А. Левинсон, О. Л. Лялин, М. А. Минкус, В. О. Мунц, Л. М. Поляков, И. Е. Рожин, Л. В. Руднев, Н. А. Троцкий, М. А. Шепилевский. Поздние работы Фомина, выполненные совместно с учениками — это конкурсные проекты театра в Ашхабаде (1934), здания Наркомтяжпрома на Красной площади (1934), городка Академии наук СССР в Москве (1934), санатория Комиссии содействия учёным в Сочи (1935 г.; соавтор Поляков Л. М.)
Лаконичный стиль Фомина нашёл своё органичное применение в классической декорации массивных пилонов и сводов станций метрополитена глубокого заложения «Красные ворота» (1934) и «Площадь Свердлова» (1936 г.; работа завершена Поляковым Л. М.).
По проекту Фомина построено здание Совнаркома УССР в Киеве (1935 г.; соавтор Абросимов П. В.). Стволы трёхчетвертных колонн большого ордера, охватывающие семь этажей этого здания, обработаны рустом с рельефной фактурой «под шубу» и снабжены базами и капителями. Стилистика этого здания предвещает послевоенный «сталинский ампир».
Иван Александрович Фомин похоронен в Москве на Новодевичьем кладбище.