Сын Бальтазара фон Кампенгаузена (1745—1800), уроженец Лифляндии, Бальтазар Кампенгаузен детство и отрочество учился неспешно и обстоятельно, не торопясь на государственную службу. Он окончил частную школу в Риге, а затем завершил своё образование в нескольких европейских университетах. Окончил Гёттингенский университет, где обратил на себя внимание докладом в Королевском научном обществе: «Entw?rfe zu physikalischen V?lker-, Religions- und Kulturkarten des russischen Reiches». В 1792 году вернулся в Россию, где первое время состоял при русских посольствах в Польше и Швеции. Тогда же, в 1792 году он написал книгу на модную тогда юридическую тему «Основание российского государственного права». В 1797 году по поручению императрицы Марии Фёдоровны стал заведовать Коммерческим училищем в Риге.
Вскоре училище было переведено из Риги в Петербург и Бальтазар Кампенгаузен краткое время занимался реорганизацией уже Санкт-Петербургского коммерческого училища и медико-хирургического института. Вскоре получив придворный чин камергера, начал службу в центральном аппарате. Будучи с 1800 года членом Медицинской коллегии, он разработал план образования Медико-хирургического института и в 1803 году был назначен заведующим Экспедицией государственной медицинской управы Министерства внутренних дел. В ходе инспекции черноморских портов проявил себя наилучшим образом и предпринял эффективные карантинные меры против эпидемии чумы.
При Александре I Бальтазар Кампенгаузен был последовательно директором новообразованного Третьего (медицинского) департамента министерства внутренних дел, градоначальником в Таганроге (1805—1809), государственным казначеем и государственным контролёром. Кампенгаузену удалось сделать очень много для превращения Таганрога в крупный административный центр, значительно благоустроить город и укрепить его положение крупнейшего порта России. По словам местного историка П.П. Филевского «никто из таганрогских администраторов столько не сделал для города, как он; это был образец энергии и понимания нужд края, где действовать он был призван...» Можно сказать, что он был не только талантливейший градоначальником в истории нашего города, но и одним из крупнейших администраторов Александровской эпохи. Оставшийся в истории как довольно редкий для России тип честного, неподкупного чиновника, во всех случаях руководствовавшегося интересами дела. По представлению Кампенгаузена, указом императора Александра I к Таганрогскому градоначальству были присоединены города Ростов, Нахичевань и Мариуполь, а в июне 1808 года градоначальник был освобожден от подчинения административным органам Новороссийского края и подчинен непосредственно центральным правительственным учреждениям. По предложению таганрогского градоначальника ему было вменено попечительство над судоходством по Азовскому морю. В Таганроге за время пребывания на посту градоначальника, барона Кампенгаузена была открыта гимназия (1806), первый коммерческий суд (1808), строительный комитет (1806), а также городской сад, о котором уже говорилось. Под председательством градоначальника строительный комитет утвердил первый план застройки портового города Таганрога. Развернулись большие работы по благоустройству города, на который Кампенгаузен исходатайствовал из казны кредит 50 000 руб., а также 10% от таможенных сборов. Он добился продления и расширения тех льгот, которые были пожалованы грекам Таганрога Екатериной II. При Кампенгаузене были значительно расширены штаты таганрогской таможни и полиции. О том, сколь прозорлив был второй градоначальник Таганрога говорят и его планы по строительству канала между реками Волгой и Доном. С этой целью полковник Дрейф по поручению Кампенгаузена исследовал местность в верховьях Дона. В то же время было предпринято геологическое исследование Таганрогского градоначальства на предмет развития угледобывающей промышленности. Интересный факт из жизни Кампенгаузена сообщают документы переписки министра внутренних дел с его преемником на посту градоначальника П.А. Папковым. Еще будучи градоначальником Таганрога Балтазар Балтазарович обратился в министерство с просьбой взыскать 10 тыс. рублей его личного долга с барона Дольста, и простил передать часть этих денег в пользу таганрогской богадельни. Дольет свой долг ему вернул, но деньги до стариков в богадельне не дошли. Уже уехав из Таганрога, Кампенгаузен пытался узнать о судьбе пожертвованных им средств. Но деньги так и не нашлись. Градоначальник Папков в письме министру внутренних дел писал о том, что сведениями о деньгах Кампенгаузена не располагает, и упомянул о том, что средства, собранные на богадельню, были растрачены служащими магистрата. Такая же участь постигла и средства, сэкономленные Кампенгаузеном на строительстве дома для градоначальника Таганрога. Деньги, которые он вернул в Министерство внутренних дел, затерялись где-то в его неведомых закоулках. Безупречная честность, педантизм, административный талант, а также дружба со всесильным А.А. Аракчеевым, способствовали назначению Кампенгаузена в 1809 году на должность государственного казначея. Позднее, в 1811 году он стал Первым государственным контролером. Это было время его наибольшего влияния и участия в государственных проектах. Экономическое положение страны в 1809—1811 годах внушало государю весьма серьёзные опасения. В результате Александр I поручил министру финансов Дмитрию Гурьеву важнейшую на тот момент задачу стабилизации финансового положения страны, изрядно расшатанного всей предыдущей торгово-промышленной и таможенной политикой. В основание программы выхода из финансового кризиса был положен знаменитый «План финансов» на 1810 год, разработанный Сперанским и Балугьянским и рассмотренный в декабре 1809 года на заседаниях специального «Финансового комитета» (или, как его называли — «кружка Гурьева»). В этот финансовый кружок, помимо троих уже названных, входил и занимавший тогда должность государственного казначея Балтазар Кампенгаузен. Можно сказать, что научно-медицинская и чиновническая стезя Кампенгаузена довольно долго боролись друг с другом. Но всё же постепенно административная составляющая одержала верх, и в 1811 году, получив чин тайного советника и должность сенатора Бальтазар Кампенгаузен был назначен главой только что образованного ведомства — Государственного контроля, призванного стать важной часть исполнения «Плана финансов».
В полном соответствии с разработанным «Планом финансов» Михаила Сперанского, управление всеми государственными доходами и расходами было разделено на три части. Первая — финансовая, ей вверялось ведение всех источников государственных доходов, вторая — казначейская, которая должна была следить за движением сумм поступивших доходов, и третья — контрольно-ревизионная. Указом от 25 июля 1810 года была установлена должность государственного контролёра «для управления делами ревизии счетов гражданского и военного ведомств», а через полгода, 28 января 1811 года под его началом было образовано Главное управление ревизии государственных счетов (на правах министерства). Оно должно было отвечать за проверку и ревизию всех приходно-расходных операций по казённым и общественным средствам, а также осуществлять надзор за их передвижением. Первым государственным контролёром России был назначен барон Балтазар Кампенгаузен.
В близком сотрудничестве со Сперанским барон Кампенгаузен сам и разработал порядок и устав деятельности нового учреждения, которым ему предстояло руководить. Помимо Совета и канцелярии государственного контролёра в состав нового учреждения вошли четыре подразделения. 1. Государственная экспедиция для ревизии счетов, переданная из ведения Государственного казначейства, — единый орган финансового контроля гражданского ведомства. 2. Военно-счётная экспедиция (прежде — Счётная экспедиция Министерства военно-сухопутных сил), отвечавшая за ревизию финансовых дел военного ведомства в целом. 3. Адмиралтейская счётная экспедиция, созданная ещё в 1763 году для дела ревизии отчётности о расходах всего морского ведомства. 4. Черноморская счётная экспедиция, специально созданная в 1808 году ради финансового контроля только на Черноморском флоте.
Первоочередной задачей нового главного управления стала полная и всеохватная проверка предшествующей финансовой отчётности, прежде всего — связанной с военными действиями. До 1823 года такие проверки проводились по подлинным приходно-расходным книгам и финансовым документам ведомств. Громадный объём работы при весьма небольшом штате чиновников-ревизоров приводил к тому, что проверяющим не хватало ни времени, ни сил для действительной и тщательной проверки. Для рассмотрения накопившейся за предыдущие годы документации (свыше 220 тысяч книг и счетов и около 10 миллионов документов) при Главном управлении ревизии государственных счетов было образовано шесть временных контрольных комиссий, труд которых растянулся на многие годы. С 1819 года на правах отдельной, Пятой экспедиции контрольного ведомства была специально учреждена Временная комиссия для решения счетов и счётных дел прежнего времени, куда были включены все подразделения других экспедиций, занятые ревизией дел до 1817 года, а также экспедиция бывшего Департамента водяных коммуникаций. Проработав свыше десяти лет, она была упразднена уже после смерти Кампенгаузена, в ноябре 1829 года с передачей дел вновь образованной Временной контрольной комиссии для отчётов гражданского ведомства за период до 1828 года. Для рассмотрения же дел, связанных с военным ведомством — комиссариатских, провиантских и прочих — были созданы отдельные особые Временные комиссии.
Кроме повседневных и рутинных финансовых проверок, Кампенгаузен за время руководства Государственным контролем неоднократно привлекался и к разбору громких дел. Например, в 1817-1818 годах он состоял членом отдельной комиссии по расследованию злоупотреблений в деле закупок продовольствия управляющего Военным министерством генерала от инфантерии князя Андрея Горчакова.
Дополнительно тяжёлое положение осложнялось ещё и тем, что до второй половины XIX века контрольное ведомство, в отличие от большинства других, не имело своих подразделений на местах (даже на губернском уровне). Любые ревизии всех государственных учреждений должны были проводиться из Петербурга. Перегрузка работой сочеталась с тяжёлыми условиями службы. По свидетельствам современников, в первой четверти XIX века чиновники Главного управления ревизии государственных счетов были наиболее скудно оплачиваемыми. Само же выполнение служебных обязанностей осложняла «чрезвычайная трудность и скученность, в которой у нас большая часть отчётов представляется, при том общем негодовании, кое ревизоры всегда лично на себя навлекают, коль скоро по долгу своему коснутся какого-либо частного интереса».
Совсем неудивительно при таком положении дел, что очень многие штатные должности в контрольном ведомстве подолгу оставались вакантными. Уже к 1818 году из него уволилось в общей сложности 447 человек. В конце концов, дело дошло до того, что Главный государственный контролёр обратился с просьбой к управляющим других ведомств не принимать на службу чиновников из его управления — без личного с ним согласования. Сам Балтазар Кампенгаузен, отличавшийся исключительно аккуратным и добросовестным отношением к своим обязанностям, в июне 1823 года, когда ему было поручено кроме основной должности ещё и временно управлять Министерством внутренних дел, в отчаянии писал Алексею Аракчееву:
В результате неспособность ведомства физически обеспечить проведение столь всеобъемлющей государственной ревизии финансов, как это предполагалось при его создании, стала предметом отдельного обсуждения в Комитете министров в 1822—1823 годах. По итогам обсуждение было принято предложение Балтазара Кампенгаузена ограничить его сферу обязанностей — ревизией только общих счетов департаментов и главных управлений министерств, «не касаясь проверки всех частных счетов и подлинных приходных и расходных книг». С 1823 года ревизии подлежали только генеральные отчёты министерств и ведомств с их выборочной проверкой по подлинным финансовым документам. Эта система с небольшими изменениями просуществовала вплоть до реформ 1860-х годов.
В июне 1823 года Бальтазар Кампенгаузен поневоле принял от графа Виктора Кочубея должность и был назначен временно управляющим Министерства внутренних дел с перспективой вскоре занять место министра, но в начале августа того же года, находясь на своей даче, упал с лошади, получил тяжёлую травму и спустя всего месяц скончался. В июне 1823 году Аракчееву удалось добиться отставки своего давнего недоброжелателя, князя В.Г. Кочубея Кочубей, Виктор Павловичс поста министра внутренних дел. На эту должность был назначен барон Б.Б. Кампенгаузен. Но он недолго пробыл на посту министра. Внезапная смерть в результате несчастного случая прервала его жизнь (находясь на своей даче, упал с лошади, получил тяжёлую травму и спустя всего месяц скончался). В петербургских гостиных и кабинетах перешептывались, что гибель такого важного чиновника в результате дорожного происшествия не могла быть случайной, и забыли о неподкупном и даже наивном в своей честности бароне. А вот в Таганроге память о градоначальнике Кампенгаузене бережно хранили. Ведь за четыре года его правления (1805-1809) в городе было сделано столько, сколько другие градоначальники не успевали и за десятилетия. В память о блистательном правлении лифляндского барона благодарные таганрожцы назвали его именем один из переулков (ныне – Спартаковский) и спуск к морю, а также по постановлению городской Думы вывесили в зале заседаний его портрет. Бальтазар Кампенгаузен был безусловно знаковой фигурой александровского времени. Добросовестный, исполнительный человек чисто немецкого характера, он входил в плеяду блестящих деятелей российской бюрократической элиты времён Александра I. Он был близок к таким чиновникам первой величины, как Михаил Сперанский, Виктор Кочубей, Николай Мордвинов и другие. Их объединяла общая приверженность либерально-реформаторским взглядам и следование просветительским идеям «служения общему благу».
Балтазар Кампенгаузен написал: