Родился 12 февраля 1932 года в Петухово (ныне Курганской области) в семье рабочих.
Окончил Свердловский юридический институт по специальности «правоведение» в 1953 году, доктор юридических наук, профессор, член-корреспондент Российской академии наук.
С 2000 года заведующий кафедрой правового регулирования ТЭК Международного института энергетической политики и дипломатии МГИМО(У)
С 1953 года — преподаватель, с 1954 по 1956 год — директор Якутской юридической школы. С 1956 по 1960 год — старший помощник прокурора Якутской АССР.
С 1963 года — старший преподаватель, затем декан вечернего факультета, с 1973 по 1987 год — проректор по учебной работе и заведующий кафедрой гражданского права Свердловского юридического института.
С 1987 по 1988 год — директор ВНИИ советского законодательства. С 1988 по 1989 год — заместитель председателя общественной Комиссии международного сотрудничества по гуманитарным проблемам и правам человека. В 1989 году был директором ВНИИ советского государственного строительства и законодательства.
С 1989 по 1991 год — министр юстиции СССР, одновременно с 1990 по 1991 год являлся главным государственным арбитром СССР и председателем Высшего Арбитражного Суда СССР.
В конце 1991 года занял должность государственного советника по правовой политике при Президенте РСФСР.
В апреле 1992 года Съездом народных депутатов РФ был избран Председателем Высшего Арбитражного Суда РФ («за» проголосовало 785 депутатов, 41 — «против», 19 — воздержались), в январе 2005 года по достижении им предельного для должности судьи возраста полномочия Яковлева истекли.
22 мая 2003 года избран членом-корреспондентом РАН в отделение общественных наук в секцию философии, социологии, психологии и права.
31 января 2005 года Указом Президента В. Путина был назначен советником Президента Российской Федерации, 15 февраля 2005 года — представителем Президента Российской Федерации в Высшей квалификационной коллегии судей Российской Федерации.
13 мая 2008 года Указом Президента РФ Д. Медведева вновь назначен советником Президента Российской Федерации.
Является сопредседателем Попечительского Совета Национального Гражданского Комитета по взаимодействию с правоохранительными, законодательными и судебными органами, член Президиума Независимой организации «Гражданское общество».
Активно осуществляет руководство Ассоциацией юристов России с момента ее создания в декабре 2005 года: 2006—2007 год — занимал пост Сопредседателя Ассоциации юристов России, затем, в 2008 году — Председатель Ассоциации юристов России, в 2009 — вновь избран Сопредседателем Ассоциации юристов России.
Полный кавалер ордена «За заслуги перед Отечеством»:
Поощрения Президента и Правительства Российской Федерации
Женат, имеет двоих детей.
Увлечения: лыжи, туризм.