Отец Вильгельм Карл Нессельроде, немец, служил в Австрии, Голландии, Франции, Пруссии и, наконец, в России. Мать его была еврейкой по происхождению и протестанткой по вероисповеданию. Сын их Карл родился в Лиссабоне, где отец его был русским посланником, на английском корабле. Карл был протестантом и до конца жизни так и не научился правильно говорить по-русски. Тотчас же после рождения он был записан мичманом в русский флот. После обучения в берлинской гимназии в 1796 он приехал в Петербург, где благоволившим к нему императором Павлом I был назначен сперва во флот, потом в армию; ни там, ни тут он не обнаружил способностей и скоро был отправлен в отставку.
После смерти Павла он был отправлен в Вюртемберг ко двору герцога с извещением о вступлении на престол Александра I. Из Штутгарта он был переведён в Берлин, потом в Гаагу секретарём посольства. Во время пребывания в Германии он познакомился с Меттернихом, тогда австрийским посланником в Дрездене, и знакомство это скоро перешло в тесную дружбу. Нессельроде смотрел на Меттерниха снизу вверх; последний казался ему гениальным дипломатом, а его советы — всегда спасительными; в свою очередь Меттерних умел хорошо пользоваться слабостями своего ученика. Основной мыслью всей дальнейшей политики Нессельроде был тесный союз с Австрией.
В 1807 был командирован в Тильзит, в распоряжение русских уполномоченных князей Лобанова и Куракина, а потом отправлен советником посольства в Париж, где вновь встретился с Меттернихом, австрийским послом при французском дворе. В значительной степени под его влиянием депеши Нессельроде, составляемые для русского посла Толстого, дышали ненавистью к Франции. В 1810, когда отношения России к Франции начали портиться, Нессельроде, по собственному желанию, был отозван в Петербург. Здесь французские симпатии уже значительно ослабели; поэтому Нессельроде был принят императором Александром очень ласково и пожалован статс-секретарём. В 1812 его положение при дворе было упрочено женитьбой на дочери влиятельного министра финансов Гурьева. Перед войной с Наполеоном канцлер граф Румянцев настойчиво советовал императору Александру не доверять Австрии и даже предлагал поднять в ней восстание славян. Представителем противоположного мнения явился Нессельроде. После победы над Наполеоном в России, Нессельроде, на этот раз вместе с Румянцевым, но вопреки Кутузову, высказался за перенесение войны в пределы Германии и за окончательное ниспровержение французского могущества. Это, в конечном итоге привело к подписанию Рейхенбахских конвенций, неоценимую помощь в подготовке которых оказал Иоганн фон Анстетт.
С 1812 по 1815 постоянно находился при императоре и был влиятельным участником Венского конгресса. Обнаружение тайного договора между Австрией и Францией против России слегка поколебало его положение. В 1816 был назначен управляющим иностранной коллегией, но одновременно с ним, и как бы в противовес ему, графу Каподистрии поручено ведение иностранных дел. Таким образом было как бы два министра иностранных дел, взгляды которых на задачи русской иностранной политики значительно расходились. Император служил верховным примирителем и посредником между ними, гораздо более склоняясь на сторону Нессельроде, который сопровождал Александра на конгрессы в Аахен, Троппау (ныне Опава), Лайбах (ныне Любляна) и Верону. В 1822 Каподистрия получил бессрочный отпуск, и Нессельроде стал единственным министром иностранных дел. Политика его по-прежнему состояла в стремлении к сближению с Австрией. В 1830 в Карлсбаде виделся с Меттернихом, осыпавшим его упрёками за поддержку греческого восстания; Нессельроде признал, по крайней мере по рассказу Меттерниха, всю справедливость этих упрёков и согласился, что революция, начатая греками, всего опаснее именно для России.
В 1849 способствовал вмешательству России в австрийские дела, с целью усмирения венгерского восстания. Ответственность за Крымскую войну в значительной степени падает на Нессельроде.
«Его Величество, Император Николай I, несмотря на все опасения министра иностранных дел графа Нессельроде о возможности разрыва с Китаем, о неудовольствии Европы, в особенности англичан, в случае каких-либо энергичных действий с нашей стороны и т. п. приказал снарядить экспедицию из корвета „Менелай“ и одного транспорта и отправить ее из Черного моря под начальством Путятина в Китай и Японию для установления торговых сношений с этими государствами и для осмотра лимана и устья р. Амура, считавшегося недоступным с моря.
Но так как на снаряжение этой экспедиции требовалось 250 000 рублей, то на поддержку графа Нессельроде выступил министр финансов, и экспедиция Путятина была отменена. Вместо нее с необычными предосторожностями и с наисекретнейшей инструкцией послан был к устью Амура Крохотный бриг „Константин“ под командой поручика Гаврилова. Хотя последний ясно говорил в своем донесении, что в тех условиях, в которые он был поставлен, он поручения исполнить не мог, тем не менее, министр иностранных дел доложил Государю, что приказание Его Величества исполнено в точности, что исследования поручика Гаврилова еще раз доказали, что Сахалин — полуостров, Амур с моря недоступен, а, следовательно, и река эта не имеет для России никакого значения.
Вслед за этим Особый комитет под председательством графа Нессельроде и с участием военного министра графа Чернышева, генерал-квартирмейстера Берга и др. постановил признать Амурский бассейн принадлежащим Китаю и отказаться от него навсегда.» («Наше положение» А. Е. Вандам, 6 августа 1912 г., С.-Петербург)
В 1844 был сделан государственным канцлером, в 1856 уволен от управления министерством иностранных дел.
Сам Нессельроде, в записке о политическом положении России (в 1856 г.; см. «Русский архив», 1872 г., № 1) определил свою политику как монархическую и антипольскую. Проникнутый идеями Священного союза, Нессельроде питал искреннюю ненависть ко всякому свободному стремлению, как в Европе, так и в России; он находил, что крепостное право одинаково благодетельно как для помещиков, так и для крестьян, и незадолго до освобождения крестьян высказывал Н. А. Милютину опасение, как бы реформа не уничтожила патриархального склада русского быта (см. письмо Нессельроде к Милютину в «Русской Старине», 1873 г., № 6). В ту же эпоху освободительных стремлений он настаивал в особой записке на усилении цензурных строгостей. В эпоху более раннюю даже граф Иоанн Каподистрия казался ему либеральным доктринером, опасным на посту министра иностранных дел. Греческое восстание вызывало в нём, как и в Меттернихе, только вражду.
Дети: