Начал службу в армии, достиг генеральского чина и, выйдя в отставку, занимался военными науками. 26 ноября 1786 получил орден Св. Георгия 4 класса № 451 (786) за выслугу 25 лет в офицерских чинах. В молодости увлекался масонством. Екатерина II привлекла Будберга к делу воспитания великих князей Александра и Константина. Несмотря на требовательность и строгость, воспитанники питали к Будбергу и уважение, и любовь.
В 1795 г. Будберг ездил в Кобург и уговорил герцогиню Кобургскую прибыть в Россию с тремя дочерьми для выбора одной из них в жёны великому князю Константину. В октябре того же 1795 г. Будберг сопровождал герцогиню в её обратном путешествии, а затем отправился в Стокгольм вести переговоры с регентом Швеции относительно брака великой княжны Александры Павловны с королем Густавом IV. Это дело очень озабочивало Екатерину II, и поручение его Будбергу показывает, что императрица относилась к нему с большим доверием. Не достигнув определённых результатов, Будберг, по желанию императрицы, уехал (апрель 1796 г.) из Стокгольма.
Его быстрый отъезд, в связи с военными приготовлениями России в Финляндии, с проявлениями недовольства против политики правительства в самом шведском обществе, побудил регента Швеции просить Екатерину II о возвращении Будберга и возобновлении переговоров (июнь 1796 г.). На этот раз Будбергу удалось добиться соглашения с Швецией: король и регент обещали ехать в Петербург для заключения брачного договора на условиях восстановления Дроттнингольмского трактата со статьей о субсидии, проведении границ согласно Верельскому трактату и взаимной поддержке на случай войны или каких-либо осложнений. Оставшись в Стокгольме на время поездки короля в России, Будберг уладил очень важное для Екатерины дело о вероисповедании великой княгини, стокгольмская консистория согласилась на сохранение православия будущей королевой. В благодарность императрица пожаловала Будбергу орден Св. Александра Невского.
Смерть Екатерины изменила положение Будберга. Он получил от Павла I неодобрение, подал в отставку, которая была принята, но вместе с тем возведен в чин тайного советника, получил 9000 руб. пенсии и отпуск для поправления здоровья. Впоследствии вернулся к дипломатической деятельности и ещё дважды побывал в Швеции.
Был военным губернатором Санкт-Петербурга с 25 января по 17 февраля 1803 г.
Образован Санкт-Петербургский учебный округ. Начата подготовка к 100-летнему юбилею Санкт-Петербурга. Заложены основы рационально организованной пожарной охраны. Начато строительство новых зданий пожарных частей. Осуществлена закладка казарменного комплекса для лейб-гвардии Гренадерского полка.
С 1804 г. — член Непременного совета. Александр I относился к Будбергу с большим доверием и в 1806 г., зная его нелюбовь к наполеоновской Франции, назначил его министром иностранных дел. Поражение под Фридландом и Тильзитский договор, при заключении которого по долгу службы присутствовал и Будберг, были концом его министерства. В августе 1807 г. он оставил свой пост, а 12 февраля 1808 г. окончательно вышел в отставку.
Умер в 1812 г. в Санкт-Петербурге. Для истории дипломатии представляет интерес его секретная переписка с Екатериной II и Александром I.