Родился 6 апреля 1924 года в деревне Сидоровская (ныне Усть-Кубинский район Вологодской области) в крестьянской семье. Русский.
По окончании начальной школы, окончил школу ФЗУ в городе Сокол Вологодской области. Трудился в городе Свердловске (ныне — город Екатеринбург) на «Уралмашзаводе».
В Красную Армию призван в августе 1942 года. На фронте в Великую Отечественную войну с августа 1943 года.
Наводчик станкового пулемёта 221-го гвардейского стрелкового полка (77-я гвардейская стрелковая дивизия, 61-я армия, Центральный фронт) комсомолец гвардии младший сержант Николай Яковлев особо отличился в боях за освобождение Комаринского (ныне Брагинского района) Полесской (ныне Гомельской области) Белоруссии.
С 28 на 29 сентября 1943 года пулемётчик Яковлев в числе первых переправился через реку Днепр в районе деревни Вялье (ныне Брагинского района) Гомельской области Белоруссии, умело прикрывая пулемётным огнём переправу пехоты, атаковавшую траншеи неприятеля.
30 сентября 1943 года в бою за деревню Галки (ныне Брагинского района) Гомельской области Белоруссии, гвардии младший сержант Яковлев участвовал в отражении яростных контратак противника, уничтожил около ста гитлеровцев.
19-летний мужественный воин-пулемётчик пал смертью храбрых в бою 2 октября 1943 года. Похоронен в посёлке городского типа Комарин Брагинского района Гомельской области Белоруссии, а после войны перезахоронен в братскую могилу в деревне Галки Брагинского района Гомельской области Белоруссии в числе трёхсот девяносто двух военнослужащих и одного партизана.
Указом Президиума Верховного Совета СССР от 15 января 1944 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецко-фашистскими захватчиками и проявленные при этом мужество и героизм гвардии младшему сержанту Яковлеву Николаю Александровичу посмертно присвоено звание Героя Советского Союза.