Происходил из украинского дворянского рода Гудовичей. Сын тайного советника Василия Андреевича Гудовича, служившего малороссийским генеральным подскарбием.
Учился в Кёнигсбергском и Лейпцигском университетах. Службу начал в 1759 году прапорщиком Инженерного корпуса, затем флигель-адъютант П. И. Шувалова. В короткое царствование императора Петра III сделал стремительную карьеру благодаря помощи своего брата Андрея Гудовича, ставшего одним из наиболее приближённых к императору офицеров. В 1761 году назначен генеральс-адъютантом дяди императора генерал-фельдмаршала принца Георга Шлезвиг-Голштинского. После прихода к власти Екатерины II (1762) арестован, но через три недели освобожден. С 1763 — командир Астраханского пехотного полка, с которым участвовал в том же году в походе в Польшу.
Впервые участвовал в боевых действиях в русско-турецкую войну 1768—1774 годов. Отличился в сражении под Хотином (11.7.1769), Ларгском (7.07.1770), Кагульском сражении (21.07.1770); командуя отдельным отрядом в Валахии, разбил войска сераскира (11.11.1770) и занял Бухарест (14.11.1770); затем командовал колонной в штурмах Журжи (Джурджу) (21.2 и 7.8.1771); разбил турок при Одалунах (1771). В 1772 году тяжело заболел и покинул армию, в 1774 году вернулся в строй и принял участие в завершающих сражениях войны на Дунае.
После заключения Кючук-Кайнарджийского мира в 1774 году назначен командующим дивизией на Украине в районе Очакова и на реке Южный Буг, затем в Херсоне. В 1785—1796 годах - Рязанский и Тамбовский генерал-губернатор, одновременно инспектор армии по инфантерии и кавалерии.
В русско-турецкую войну 1787—1792 годов по собственной просьбе отправлен в действующую армию и назначен командующим отдельным корпусом. Во главе его овладел укреплениями Хаджибея (14.9.1789) и крепостью Килия (18.10.1790).
С 12 ноября 1790 года — командующий Кубанским корпусом и начальник Кавказской линии; с 7-тысячным отрядом штурмом взял Анапу (22.6.1791), которую защищал 15-тысячный турецкий гарнизон. При Гудовиче к России присоединены территории Тарковского шамхальства и Дербентского ханства. Под руководством Гудовича построены крепости Усть-Лабинская, Кавказская, Шелководская.
Обиженный назначением в 1796 году В. А. Зубова командующим войсками, предназначенными для похода в Персию, вышел в отставку. По вступлении на престол Павла I в 1796 году получил назначение на место Зубова, а при коронации Павла I произведён в графское достоинство. С 1798 года — Киевский, затем Подольский генерал-губернатор. В 1799 году — главнокомандующий армией, предназначенной для действий на Рейне. В июле 1800 года за критику прусских порядков, насаждавшихся в армии Павлом I, уволен в отставку.
В 1806 году возвращён на службу и назначен главнокомандующим войсками в Грузии и Дагестане, принял энергичные меры по прекращению чумы на Кавказе.
В русско-турецкую войну 1806—1812 одержал победу над турецкими войсками сераскира Юсуф-паши в битве близ крепости Гумры на реке Арпачай (18.6.1807), за которую был произведён в генерал-фельдмаршалы. После неудачного штурма Эривани (17.11.1808) отвел войска в Грузию. Тяжелая болезнь (с потерей глаза) вынудила Гудовича в 1809 году оставить Кавказ.
С 1809 года Гудович — главнокомандующий в Москве, с 1810 года одновременно член Государственного совета, сенатор.
«Он умел высоко поддерживать высокое звание главнокомандующего в столице, — писал о Гудовиче Ф.Ф.Вигель, — т.е. заставлял себе повиноваться, окружал себя помпой и давал официальные обеды и балы. Может быть, в зрелых летах имел он много твердости, но под старость она превратилась у него в своенравие...» Странности его отмечал и князь П.А.Вяземский, вспоминая о том, что Гудович слыл в Москве «гонителем очков и троечной упряжи». Никто не мог являться к нему в очках, и даже в чужих домах он заставлял их снимать, а приезжавшие в Москву на тройках должны были выпрягать у заставы одну лошадь, опасаясь попасть в полицию за неповиновение…
Был крупным помещиком (около 13 тыс. крестьянских душ).
В 1812 году Гудович был уволен в отставку по состоянию здоровья и последние годы своей долгой жизни провел в имении, развлекаясь музицированием и охотой. Скончался граф в 1820 году и по завещанию был похоронен в Софийском соборе в Киеве.