Родился в дворянской казачьей семье на хуторе Булгурино Области войска Донского, ныне Еланский район Волгоградской области. Учился в гимназии в Москве, окончил Московский университет (1916), ученик Ф. Ф. Фортунатова. Один из основателей и руководителей Московского лингвистического кружка.
В ноябре 1917 участвовал в захвате власти большевиками в Москве, вступил в РКП(б). Заведующий отделом печати Военно-революционного комитета в Москве, закрыл газету «Русские ведомости». В конце 1918 решил вернуться к научной деятельности, для чего ему пришлось сдать партбилет. Позже пытался вновь вступить в партию, но неудачно.
Во время гражданской войны мать Яковлева Александру Константиновну крестьяне закопали живьём в землю. Брат Павел воевал на стороне белых и эвакуировался в Турцию.
С 1920 по инициативе А. А. Шахматова ежегодно возглавлял экспедиции для изучения языков Северного Кавказа и Дагестана. В экспедициях принимал участие также Лев Иванович Жирков.
Председатель Технографической комиссии Всесоюзного центрального комитета нового алфавита (ВЦКНА), занимавшегося разработкой алфавитов для бесписьменных (или имеющих практически неудобную арабицу) языков СССР (принимал также участие в комиссии по латинизации русского письма. Разработал математическую формулу алфавита в соответствии с фонологической системой языка. Ему принадлежит известное определение создателей алфавитов (таких, как Ульфила, Месроп Маштоц, Кирилл и Мефодий) как «стихийных фонологов». Предложил диграфы и вспомогательные знаки для письменности кавказских языков (написания вида къ, кI). Автор работ по описанию языков Кавказа.
В 30-е годы частично перешёл на позиции марризма.
Профессор Московского института востоковедения (1946), Военного института иностранных языков, доктор филологических наук (1947). Сотрудник Института языка и мышления (с 1936), в 1942—1950 заведующий сектором кавказских языков этого института.
После разгрома марризма Сталиным в 1950 Яковлев был уволен со всех мест работы и заболел психически, прожив в таком состоянии больше 20 лет.
Внучка Н. Ф. Яковлева — писательница Людмила Петрушевская.