Сын фаворита Екатерины II, министра народного просвещения графа Петра Завадовского от брака с графиней Верой Николаевной Апраксиной. Воспитание получил в доме родителей. Двенадцати лет он был записан на службу канцелярским служителем в Комиссию составления законов и дошёл в этом звании до чина губернского секретаря. В 1812 году Завадовский был пожалован в камер-юнкеры, в 1818 году поступил в военную службу корнетом в лейб-гвардии гусарского полка. В 1820—1822 годах — адъютант В. Левашова, в 1822 году был произведён в поручики и в ноябре того же года по болезни вышел в отставку.
В 1823—1826 Завадовский чиновник для особых поручений в Министерство внутренних дел, в 1826 году он был пожалован в камергеры. Во время похорон Александра I и коронации Николая I был церемониймейстером. В 1828—1833 — обер-прокурор Сената, в сверх того с 1829 года управлял экпедицией ордена св. Анны и с 1833 года состоял церемониймейстером ордена св. Александра Невского.
В 1830 году Завадовский был награждён орденом св. Владимиром 3-й ст. и чином действительного статского советника, а в 1831 году, во время холеры, был попечителем Московской части и своею деятельностью заслужил орден св. Станислава 1-й ст., в 1833 году назначен членом консультации при Министерстве юстиции, в 1840 году пожалован в сенаторы с производством в тайные советники и в 1849 году почётным опекуном. С 1843 по 1845 года Завадовский по болезни был в заграничном отпуске.
Граф Завадовский имел значительное состояние ( у него было более 3 тыс. душ крестьян), дачи на юном берегу Крыма и близ Петербурга, дом в Нарве), но дела его были расстроены. В 1833 году он получил от своего двоюродного брата графа Ивана Яковлевича Завадовского (7.5.1785–6.3.1833) наследство в 600 тыс. рублей, и по этому поводу К.Я.Булгаков, бывший с ним в большой дружбе, писал своему брату:
По отзывам современников, Завадовский В.П. отличался видной, красивой наружностью и высоким ростом и был очень приветлив. Умер Завадовский 10 октября 1855 года и был погребён в Фёдоровской церкви Александро-Невской лавры.
С 31 октября 1824 года граф В.П.Завадовский был женат на первой красавице Петербурга Елене Михайловне Влодек (1807 - 1824), после они жили в разъезде. У супругов был только один ребенок – сын: