Отец — известный чувашский просветитель Иван Яковлевич Яковлев.
Окончил Симбирскую классическую гимназию (1896), историко-филологический факультет Московского университета (1900; получил медаль за сочинение «Вопрос о крепостных крестьянах в „Комиссии по составлению нового уложения“»). Ученик В. О. Ключевского, был оставлен при университете для подготовки к профессорскому званию. Магистр русской истории (1916; тема диссертации: «Засечная черта Московского государства в XVII в.»). Доктор русской истории (1917; тема диссертации: «Приказ сбора ратных людей»).
С мая 1906 — приват-доцент Московского университета, также работал помощником библиотекаря Румянцевского музея (ныне Российская государственная библиотека). В 1917—1918 — сверхштатный ординарный профессор, в 1918—1920 — ординарный профессор по кафедре русской истории историко-филологического факультета Московского университета.
В 1920 по просьбе отца Алексей Иванович прибыл из Москвы в Симбирск и начал работать в Чувашском институте народного образования в должности профессора истории и заведующего учебной частью. Осенью 1922 отец и сын Яковлевы вернулись в Москву, где Алексей Иванович преподавал на Высших литературных курсах университета и вёл исследовательскую работу. В 1922—1930 — действительный член института истории Российской ассоциации научно-исследовательских институтов общественных наук (РАНИОН). В 1927—1929 — профессор этнологического факультета Московского университета. В 1924—1930 — заведующий учебной частью, директор библиотеки ВСНХ СССР.
В августе 1930 был арестован как участник мифического «заговора» академиков С. Ф. Платонова, Е. В. Тарле и др. и отправлен в ссылку в Минусинск. В октябре 1930 умер его отец. В ссылке учёный работал библиотекарем и сотрудником Мартьяновского музея. В 1933 А. И. Яковлев вернулся в Москву. После возвращения из ссылки работал заведующим бюро транскрипции географических названий при Картографическом тресте Наркомтяжпрома (1934—1937).
В 1938—1951 являлся старшим научным сотрудником Института истории АН СССР, в 1943—1951 — профессор исторического факультета Московского университета. За книгу «Холопство и холопы в Московском государстве в XVII веке» был удостоен Сталинской премии 2-й степени за 1942 год. Эту премию — 100 тыс. руб. — А. И. Яковлев отдал на учреждение в Чувашии (Мариинский Посад) и Мордовии (Атяшевский район) двух приютов для осиротевших детей воинов, павших в Великой Отечественной войне.
Основные труды А. И. Яковлева посвящены социально-экономической, военно-политической истории и общественной мысли в России XVII века. Автор публикаций источников по отечественной истории.