Родился в знатной, аристократической семье. В 1791—1798 годы назначается прусским правительством управляющим в должности министра над маркграфствами Ансбах и Байрёйт на юге Германии. В 1804—1806 годы и в 1807 году — член кабинета, министр иностранных дел Пруссии. После разгрома Пруссии в 1807 году в войне с наполеоновской Францией (1806—1807), в поданной на имя короля Фридриха Вильгельма III докладной записке настаивает на проведении срочных либерально-демократических реформ. В 1810 году назначается государственным канцлером Пруссии, и на этой должности остаётся до самой смерти в 1822 году. Правительство, возглавляемое Гарденбергом, продолжило и углубило реформы фон Штейна: в 1811 году ввело свободу промышленной и ремесленной деятельности, упразднило цехи, частично отменило крепостную зависимость, разрешив крестьянам выкуп феодальных повинностей. В 1812 году Гарденберг гарантировал отдельным декретом гражданское равноправие евреев в Пруссии. Принимал активное участие в работе Венского конгресса 1814—1815 годов и создании «Священного союза». В послевоенные годы правительство Гарденберга во внутренней политике делало ставку на укрепление союза с консервативными кругами прусского юнкерства, во внешней политике — на союз с монархиями Австрии и России.