Родился в деревне Яковлевке Обоянского уезда Курской губернии (сейчас это деревня Яковлевка Пристенского района Курской области). Незаконнорождённый сын крепостной крестьянки Анисьи Леонтьевой [[и суворовского офицера помещика Ефима Григорьевича Заплатина. В девятилетнем возрасте был принят в Санкт-Петербургскую Академию художеств, которую закончил в 1815 году с большой золотой медалью, благодаря чему получил право на двухлетнюю стажировку в Европе за казённый счёт. Но война в Европе помешала этому.
С 1817 года работал в Москве, в Комитете строений и гидравлических работ у А. А. Бетанкура. С 1819 года — в Нижнем Новгороде, куда был направлен для строительства тюремного острога. В 1820 году по просьбе губернатора А. С. Крюкова стал нижегородским губернским архитектором. 16 сентября 1825 года избран Санкт-Петербургской Академией художеств академиком архитектуры.
Ефимов создавал от 50 до 200 проектов ежегодно, одновременно осуществляя контроль за возведением казенных зданий, храмов и частных домов по всем городам края, участвовал в строительстве в Санкт-Петербурге, Костроме, Ярославле и других городах. Разработал несколько типов доходных домов. На основе образцовых фасадов проектировал импозантные 2-3-этажные особняки с колонными портиками или пилястрами на главных фасадах. Участвовал в установке обелиска в честь К.Минина и Д.Пожарского (1826—1828) в Нижнем Новгороде.
Вместе с П. Д. Готманом разработал программу коренного градостроительного переустройства Нижнего Новгорода (1834—1842 гг.).
Нижний Новгород обязан И. Е. Ефимову архитектурным образом и градостроительными переменами в эпоху позднего классицизма начала XIX века. Сохранилось большое количество зданий, возведенных по его проектам.