Отец был коммерческим директором на различных заводах, поэтому семья часто переезжала. Мать была воспитательницей в детском саду. Занималась во многих театральных студиях, в Алма-Ате закончила Театральную студию при ТЮЗе. Получив приглашение остаться в театре, уехала однако поступать в театральный вуз в Москву. Поступив в Театральное училище им. Б.В. Щукина (курс И. Рапопорта, А. Борисова), с третьего курса оказалась в театре «Ленком». В 1962 г. окончила ВТУ им. Б. В. Щукина и была принята в труппу Театра имени Ленинского комсомола.
В 1964 году главным режиссером театра стал А. В. Эфрос, и с этого момента судьба актрисы неразрывно связана с ним. С первых ролей современного репертуара она стала известной. Узнаваемость ее героинь парадоксально соединялась с исключительностью, внешняя простота с непередаваемым душевным трепетом. Она — актриса лирического темперамента; игре свойственны изящество и тонкий психологизм, импульсивность и порывистость. В героинях Яковлевой хрупкость, ранимость сочетались с душевной стойкостью и внутренней силой.
В театре «Ленком» она играла в спектаклях А. Эфроса: «Снимается кино» (Аня), «Сто четыре страницы про любовь» (Наташа), «Всего несколько слов в честь господина де Мольера» (Арманда), «Мой бедный Марат» (Лика).
В конце 1960-х сыграла немало главных ролей русской и зарубежной классики, продемонстрировав рост мастерства и разнообразие сценических красок: «Чайка» (Нина), «Три сестры» (Ирина). В современном и классическом репертуаре актрисе удаётся намеренно красочная манера игры, сопряжённая с передачей глубоких течений непростой душевной жизни своих героев.
В 1967 году вместе с А. Эфросом Яковлева перешла в Театр на Малой Бронной, где режиссёр поставил свои лучшие спектакли. Яковлева сыграла в этом театре лучшие свои роли: «Три сестры» (Маша), «Месяц в деревне» (Наталья Петровна), «Лето и дым» (Альма), «Веранда в лесу», «Директор театра», «Наполеон Первый» (Жозефина), «Дорога» (Коробочка).
Театральными событиями стали такие разные роли Яковлевой 1970-х, как шекспировские Джульетта и Дездемона («Ромео и Джульетта», «Отелло»), Эльвира («Дон Жуан» Ж. Б. Мольера), Лиза Хохлакова («Брат Алеша» по «Братьям Карамазовым» Ф. М. Достоевского), Агафья Тихоновна («Женитьба» Н. В. Гоголя).
Развитие таланта актрисы поступательно двигалось от манеры к стилю, обогащая ее ведущую тему. Героиням Яковлевой был свойствен богатый внутренний мир. Даже в комедийном жанре это качество актрисы звучало в полную силу. Неизбывный трагизм любви, душевных страданий остается главным мотивом творчества Яковлевой в конце 1970-х, когда она воплотила на сцене тургеневскую женщину — Наталью Петровну («Месяц в деревне» И. С. Тургенева, 1977) и слишком одухотворённую, чтобы совместить свои изысканные чувства с радостями земной любви, Альму Уайнмиллер в спектакле по пьесе Т. Уильямса «Лето и дым» (1980) . Не осталась незамеченной её роль Жозефины («Наполеон Первый» Ф. Брукнера , 1983), сыгранная О. Яковлевой властно и сильно в противовес ранее ею созданному лирическому образу.
Переход актрисы в этот театр был связан с приглашением А. В. Эфроса в театр на должность главного режиссёра. Актриса успела сыграть в новых его постановках три роли: Настю в «На дне» М. Горького (1984), Боди в спектакле «Прекрасное воскресенье для пикника» по пьесе Т.Уильямса и Селимену в мольеровском «Мизантропе». Новый образ О. Яковлевой, актрисы этого периода, — это женщина, отстаивающая принцип лицемерия как главного в жизни, «женщина, познавшая катастрофу и разочарование души», окаменевшая, отвергнувшая живые чувства. После смерти А. Эфроса в 1987 году уехала во Францию, где жила и работала по 1991 год.
В Москву актриса вернулась в 1991 году. По приглашению А. Гончарова она пришла в Театр имени Вл. Маяковского, одновременно играя в различных московских театрах: Жозефину в восстановленном спектакле по пьесе Ф. Брукнера «Наполеон Первый» (Премия «Хрустальная Турандот», 1993) и Мириам в спектакле «В баре токийского отеля» Теннесси Уильямса в Театре им. Вл. Маяковского. В Московском театре под рук. О. Табакова — Софья Коломийцева («Последние» Максима Горького, Государственная премия Российской Федерации, 1996), Мелисса («Любовные письма» А. Гурнея). В театре «Школа современной пьесы» — Анна («Без зеркал» Н. Климонтовича); во Французском культурном центре — Маргарита («Король умирает» Э. Ионеско).
С 2004 года — актриса труппы МХТ имена А. П. Чехова. Участвует в спектаклях: «Кабала святош (Мольер)» М. Булгакова, «Кошки-мышки» Иштвана Эркеня (Гиза), «Немного нежности» Альдо Николаи (Ноэми). Сегодня играет в Театре имени Вл. Маяковского в спектакле «Спуск с горы Морган» Артура Миллера (Теодора Фельт).
Своеобразный, мелодичный и очень выразительный голос О. Яковлевой способствует ее плодотворной работе на радио (Маша в «Дубровском» А. С. Пушкина, Незнакомка в «Незнакомке» А .А. Блока и др.).
Ряд запоминающихся ролей создала она и на телевидении, в телепостановках А. Эфроса (см. фильмографию).
Ольга Яковлева — человек-эпоха, актриса-легенда советского и российского театра, кумир целого поколения. В 2003 году опубликовала книгу воспоминаний «Если бы знать…» — одну из самых интересных и очень личностных книг последних лет об отечественном театре. В мемуарах «Если бы знать…» автор рассказывает о драматических событиях в театре Ленком, театре на Малой Бронной и театре на Таганке — о самом трагическом периоде в жизни режиссёра Анатолия Эфроса.
Ольга Яковлева о своей книге:
Вдова выдающегося советского спортсмена Игоря Нетто (1930—1999).