Н. Н. Яковлев родился в 1927 году во Владикавказе в семье маршала артиллерии Н. Д. Яковлева. Окончил МГИМО и одновременно, экстерном, Юридический факультет МГУ. Работал в МИД, участвовал в подготовке издания переписки И. В. Сталина с президентами США и премьер-министрами Великобритании в годы Великой Отечественной войны. Подготовил к защите кандидатскую диссертацию.
В начале пятидесятых годов начался новый виток сталинских репрессий. 31 декабря 1951 года отец Николая Николаевича был снят с должности, а в конце февраля 1952 года он был арестован. Маршалу вменялись в вину недостатки 57-мм автоматических зенитных пушек. Следом был арестован и сам Николай Николаевич. Отец и сын были освобождены сразу после смерти И. В. Сталина, и Николай Николаевич смог вернуться к работе, и в 1955 году защитил кандидатскую диссертанцию, а в 1968 году — докторскую. В шестидесятые годы Яковлев опубликовал серию работ по истории США.
Несмотря на своё освобождение и закрытие дела, Н. Н. Яковлев не был полностью реабилитирован и оставался «невыездным» — ему не разрешалось покидать СССР. В 1970-е годы учёный обратился в КГБ СССР с просьбой разрешить ему поездки в США, что было связано с его специальностью. В результате своего визита в КГБ Яковлев был завербован КГБ СССР для проведения «идеологических операций», чему способствовал его страх перед КГБ, связанный с тяжёлым опытом тюремного заключения и допросов в 1952 году. Согласно свидетельству самого Яковлева, беседовал с ним лично председатель КГБ Ю. В. Андропов, а позже необходимыми материалами для написания книг, в том числе и явно сфальсифицированными, его снабжал начальник 5-го управления КГБ генерал Ф. Д. Бобков. Андропов убедил Яковлева участвовать в идеологических операциях, сообщив ему, что в прежние времена с разведкой сотрудничали И. С. Тургенев, В. Г. Белинский и Ф. М. Достоевский.
Самыми известными книгами, которые автор написал по просьбе КГБ, были «1 августа 1914 года» и «ЦРУ против СССР». В первой книге содержатся намёки на то, что вину за проблемы СССР следует возложить на масонский заговор, а вторая книга винит во всём советских диссидентов и американскую разведку. Во второе издание книги о ЦРУ Яковлев добавил сведения о личной жизни жены академика Сахарова, Елены Боннер, которые по оценкам «порядочные люди сочли гнусными» и являлись «клеветой самого низкопробного содержания, рассчитанной на низменные инстинкты читателей». Наиболее непристойные отрывки из этого издания книги, включая раздел о Елене Боннер, были также опубликованы в журнале «Смена» и «Человек и Закон» с многомиллионными читательскими аудиториями.
14 июля 1983 года Н. Н. Яковлев приехал в Горький и пришёл в квартиру, где А. Д. Сахаров находился в ссылке, объяснив это желанием взять у академика интервью для третьего издания книги, хотя на самом деле имел намерение позлить Сахарова. Сахаров вначале долго и терпеливо пытался переубедить Яковлева, но когда тот стал повторять оскорбления в адрес жены академика, Сахаров дал ему пощёчину и выгнал из квартиры. Через несколько дней Сахаров попытался подать судебный иск, обвиняя Яковлева в клевете, но местный суд отказался принять у него документы.
Яковлев работал в институтах Академии наук — ИИАН, Институте США и Канады, Институте социально-политических исследований. Любопытно, что Ю. В. Андропов так и не разрешил Яковлеву покидать СССР, несмотря на все его старания, и полностью реабилитирован Яковлев был только в 1989 году. Леонид Млечин объясняет этот поступок Андропова тем, что «с людьми, которые висят на крючке, проще работать».
Н. Н. Яковлев умер 7 апреля 1996 года. Похоронен в Москве на Новодевичьем кладбище (участок № 7).