Роман Яковлев начинал заниматься волейболом в возрасте 9 лет в харьковской спортшколе под руководством тренера Любови Михайловны Коренко. В 1992 году дебютировал в харьковском «Локомотиве» в высшей лиге чемпионата Украины. В том же году поступил в Харьковскую юридическую академию. В 1994-м в составе «Локомотива» выиграл золотую медаль чемпионата Украины, а в следующем сезоне, выступая за фарм-команду «Локомотива», «Юракадемию», стал победителем первой украинской лиги.
В том же 1995 году из-за разногласий с тренером был отчислен из «Юракадемии», сомневался в целесообразности дальнейших занятий волейболом, но вскоре вместе с целой группой новичков был приглашён Геннадием Шипулиным в «Белогорье». Яковлев получил российское гражданство, перевёлся на юридический факультет педагогического института.
В составе «Белогорья-Динамо» Роман Яковлев дважды, в 1997 и 1998 годах, становился чемпионом России. 15 мая 1998 года в Липецке он провёл первый официальный матч за сборную России, в котором она в рамках Мировой лиги играла с командой Польши и уступила со счётом 2:3. В целом же дебютный для Яковлева (и Шипулина в качестве главного тренера сборной) турнир сложился успешно — российская команда заняла 2-е место, а Яковлев был признан лучшим подающим «Финала четырёх». В ноябре 1998 года принимал участие на чемпионате мира в Японии.
В сезоне-1998/99 Роман Яковлев стал самым результативным игроком российского чемпионата. Очередной розыгрыш Мировой лиги он провёл неубедительно и в июле 1999 года был отчислен из сборной. Спортсмен не был вызван на сбор перед чемпионатом Европы, не ездил на серию товарищеских матчей в Финляндию, тренировался в клубе. Но через пару месяцев тренеры всё-таки сменили гнев на милость, вернув Яковлева в сборную.
К решающим матчам чемпионата Европы в Вене, завершившегося серебряным успехом сборной, он отвоевал место в стартовом составе у Александра Герасимова, а последний старт сезона — Кубок мира в Японии — и вовсе стал бенефисом Романа Яковлева. В среднем за матч он набирал по 20 очков; в предпоследний день турнира в игре с хозяевами соревнования, продолжавшейся всего три партии, принёс своей команде 30 очков. С выигрышем у японцев Россия стала обладателем Кубка мира, Роман Яковлев был удостоен призов лучшему нападающему и самому ценному игроку турнира.
Осенью 1999 года Яковлев начал выступления в чемпионате Италии. Его первым клубом на Апеннинах был аутсайдер серии A1 «Форли». Вся игра этой команды строилась через российского диагонального, и неслучайно именно он в итоге стал самым результативным игроком итальянской лиги и был признан лучшим игроком чемпионата по версии La Gazzetta dello Sport. В 2000 году в составе сборной России Роман Яковлев завоевал серебряную медаль Олимпийских игр в Сиднее, попутно установив российский рекорд по скорости полёта мяча на подаче, составившей 125 км/час.
Осенью 2000 года Яковлев уже был игроком именитой «Модены», в которой также выступал россиянин Алексей Казаков. В октябре вместе с партнёром по сборной России и игроком «Пармы» Сергеем Тетюхиным попал в автокатастрофу, на восстановление после аварии ушло около трёх месяцев.
В сезоне 2001/02 годов Роман Яковлев выиграл титул чемпиона Италии и установил рекорд сезона по результативности, набрав в одном из матчей за «Модену» 41 очко. В составе «Модены» также был финалистом Лиги чемпионов и обладателем Кубка Европейской конфедерации волейбола. Всего за пять сезонов он провёл в итальянской лиге 153 матча и выиграл 2657 очков.
В составе сборной России Роман Яковлев беспрерывно выступал до 2002 года, выиграл «бронзу» на чемпионате Европы-2001 в Остраве, а в 2002 году стал победителем Мировой лиги и серебряным призёром чемпионата мира. В 2003 году привлекался в сборную для участия на европейском первенстве в Германии, где она заняла третье место. В период с 1998 по 2003 год Роман Яковлев провёл в общей сложности 139 матчей за сборную России, набрал 1641 очко и 487 отыгранных подач.
В 2004 году вернулся в Россию, выступал за одинцовскую «Искру», затем провёл три сезона в составе новоуренгойского «Факела», в 2007 году завоевал с этим клубом Кубок Европейской конфедерации волейбола. В сезоне-2008/09 играл в высшей лиге «А» за «Динамо-Янтарь», после чего перешёл в московское «Динамо». Во многом благодаря Яковлеву, заслужившему своей игрой место в стартовом составе динамовцев, столичный клуб, неуверенно входивший в сезон, в итоге стал бронзовым призёром Суперлиги и добрался до финала Лиги чемпионов.
Летом 2011 года Роман Яковлев перешёл из московского «Динамо» в краснодарское и в новой команде был выбран капитаном. В октябре того же года впервые после чемпионата Европы-2003 был вызван в сборную России, вошёл в заявку на Кубок мира и во второй раз за карьеру стал победителем этого турнира.