Иван Гаврилович родился 1 января 1782 года в дворянской семье. Начал военную службу в 1791 году капралом лейб-гвардии Измайловского полка. В 1797 году в чине подпоручика выходит в отставку. Вскоре возвращается на военную службу, в Московский гренадерский полк.
Участвовал в Итальянском походе Суворова, Наполеоновских войнах.
В 1812 году – подполковник, в 1814 году – полковник. В 1816 году назначен на должность петербургского полицеймейстера.
С 1822 года по 24 февраля 1828 года - гражданский губернатор Киевской губернии. В июне 1831 года назначен в Красноярск на должность губернатора Енисейской губернии. В это время Иван Гаврилович имеет чин действительный статский советник.
При губернаторе Ковалёве значительно увеличился в размера губернский город Красноярск. Протяженность главной улицы города выросла до трёх вёрст. Всего в городе к 1835 году было 24 улицы и переулка. Изменялись и пересматривались границы Енисейской губернии. Строятся и работают хлебные магазины, положение о которых было принято предыдущим губернатором Степановым. В 1835 году в губернии начали выращивать картофель.
Оставался в должности Енисейского губернатора до 1835 года. 23 июня 1835 года Ковалёва переводят губернатором в Тобольск, а тобольского губернатора Копылова Василия Ивановича – в Красноярск.