Родился 16 (27) февраля 1745 года в крепости Алексеевская Харьковской губернии. Сын священника. Помещик Харьковской губернии.
Образование получил в Харьковском коллегиуме, по окончании которого преподавал в нём в 1766—1769 пиитику. Затем жил в Петербурге.
В 1770—1775 был воспитателем детей гетмана Украины К. Г. Разумовского. Во время путешествия с А. К. Разумовским по Европе (1772—1775) завершил образование в Страсбургском университете. По возвращении в Петербург служил прокурором Военной коллегии.
В середине 1780-х гг. — правитель канцелярии Г. А. Потемкина. С 5 декабря 1775 года член Вольного Российского собрания при Московском университе.
С 1793 года генерал-майор. В 1793 году был уволен со службы «за воровство и грабеж», но по ходатайству A. M. Грибовского в 1797 году при образовании Рязанской губернии стал её 1-м Губернатором с переименованием из генерал-майоров в тайные советники. С именем Коваленского связано подавление бунта мастеровых на заводе Хлебникова в 1797 году.
В 1801 году Павел I назначил Коваленского куратором Московского университета. С 1804 — в отставке.
Жил в Москве и в своем имении Дедове Харьковской губернии.
Умер 6 (18) июня 1807 года в Москве. Похоронен в Симоновом монастыре.
Его «Житие Г. С. Сковороды» — любопытный литературный и бытовой памятник конца XIX века. Ещё в рукописи этим сочинением пользовались И. М. Снегирёв в «Отечественных записках» 1823, архимандрит Гавриил в «Истории русской философии» 1840, Аскоченский в «Киевских Губернских Ведомостях», 1855, и Г. П. Данилевский, в жизнеописании Сковороды. «Житие» было издано в «Киевской Старине» 1886 и вторично, в 1894, харьковским историко-филологическим обществом, при собрании сочинений Г. С. Сковороды. Стиль Ковалевского лёгкий, ясный. В «Житии» много искренности, задушевности и доброжелательства.