Сын казацкого старшины гетманского войска Василия Васильевича Завадовского от брака его с дочерью подкомория Марией Михайловной Ширай. Маленькое имение родителей его не могло быть достаточным для воспитания многочисленного семейства. Из-за бедного состояния родителей, Завадовский воспитывался в доме дяди - козака Ширая, потом был отправлен в польскую Оршу, в иезуитское училище, где обучался эллинскому и латинскому языкам, и окончил обучение в Киевской Духовной Академии (1760).
В 1760 году, Завадовский начал службу в Глухове поветчиком при Малороссийской Коллегии и вскоре стал старшим советником Почепской сотни Стародубского полка. В 1765 году, граф Румянцев принял управление над Гетманщиной; умный и трудолюбивый козак Завадовский обратил на себя внимание и был определен правителем секретной его канцелярии. В 1769 год ему было поручено командовать небольшим отрядом, охранявшем берег Днестра, несколько раз отражал нападения неприятеля под Бендерами и за отличия был пожалован званием премьер-майора. Отличился в битвах на Ларге и при Кагуле; при атаке Силистрийских укреплений был определен полковником. Вместе с графом С. Р. Воронцовым подготовил текст Кучук-Кайнарджийского мирного договора, а через год получил Орден Святого Георгия 4-го класса. В 1775 году сопровождал в Санкт-Петербург графа П. А. Румянцева и был представлен императрице Екатерине II.
Обладая красивой внешностью, обаятельным обращением и уживчивым характером, Завадовский сделался фаворитом Императрицы. В 1775 году он был назначен кабинет-секретарём, а по соседству с родной деревней — имение Ляличи. В июне 1776 году пожалован чином генерал-майора, получил 4 тыс. крестьян в Могилёвской губернии, Орден Белого орла и Орден Святого Станислава. Завадовскому отведены были комнаты во дворце с полным содержанием. Это приближение встревожило Потемкина; к нему присоединилась княгиня Дашкова. Через год в результате интриг Завадовский был удалён от дворца.
После отставки с этого «поста» Завадовский продолжал хранить верность Екатерине, к которой питал страстную любовь, и не женился ещё десять лет, а когда построил дворец в Екатеринодаре, с 250 комнатами, фарфоровыми изразцами, малахитовыми каминами и роскошной библиотекой, его главным украшением стала статуя Екатерины в натуральную величину.
Пользуясь поддержкой своего друга Безбородко, Завадовский занимал видные посты в администрации. В 1780 году он был пожалован в тайные советники, сенатором и членом Воспитательного Общества благородных девиц, через год ему поручается руководить Петербургским Дворянским и Городским заёмными банками. Он председательствовал в комиссии о сокращении канцелярского делопроизводства; ему были поручены ревизия присутственных мест, управление учебными заведениями и составление для них уставов, переустройство Пажеского корпуса и других школ, заведование медико-хирургической школой, председательство (с 1784) в комиссии по постройке Исаакиевского собора.
После восшествия на престол Павла I был возведён в графское достоинство, но вскоре отправлен в отставку. При Александре I вновь поступил на государственную службу: в 1801—1802 годах — председатель Комиссии составления законов, в 1802—1810 — первый руководитель министерства народного просвещения, в 1810—1812 — председатель Комиссии составления законов Государственного Совета.
В бытность Завадовского министром народного просвещения появились народные школы, в уездах — уездные училиша, в губерниях — гимназии; были учреждены учебные округа, изданы уставы университетов и основаны Казанский, Харьковский и Дерптский университеты, открыт Петербургский педагогический институт.
Граф Завадовский умер 10 января 1812 года в Петербурге и похоронен на Лазаревском кладбище Александро-Невской лавры.
Был женат с 30 апреля 1787 года на одной из первых красавиц своего времени графине Вере Николаевне Апраксиной, дочери жившей у графа К. Г. Разумовского его племянницы и «метрессы», графини Софьи Осиповны Апраксиной. От этого брака он имел 9 дочерей и 4 сыновей, из них 8 детей умерли в младенчестве.