Учился в гимназии и Николаевском кавалерийском училище, служил в Уланском Её Величества полку. По выходе в запас, Яковлев, обладая выдающимся голосом, посвятил себя исключительно музыкальному искусству, учился пению у провинциального певца Ряднова и ездил в Италию, где занимался у выдающихся профессоров пения.
Дебютировал в 1886 году в тифлисском оперном театре. По рекомендации П. Чайковского, услышавшего его в Тифлисе, дебютировал в партии Валентина («Фауст») в апреле 1887 в петербургском Мариинском театре, на сцене которого пел до 1906. Впоследствии сам организовал различные оперные труппы, в которых выступал в качестве певца и режиссера.
Репертуар включал 53 партии. В репертуар Яковлева входили роли Демона, Орсо в «Корделии» Соловьёва, Евгения Онегина, Елецкого («Пиковая дама»), Роберта («Иоланта»), Фабио («Поэт»), Князя Серебряного («Князь Серебряный» Г. Казаченко), Троекурова («Дубровский»), Грязного («Царская невеста»), Дон Жуана («Дон Жуан»), Марселя («Богема»), Мазепы («Мазепа» П. Чайковского), Джанчотто («Франческа да Римини» Э. Направника) и другие.
Неоднократно выступал в концертах (особенно часто в благотворительных — в пользу студентов). С 1911 вел педагогическую деятельность в Петербурге на музыкальных курсах Г. Заславского. В 1918—19 режиссер Гос. оперы в Петрограде (бывший и нынешний Мариинский театр). На сцене Михайловского театра (МАЛЕГОТ) возобновил постановку оперы «Ромео и Джульетта».