Отец Оливии, Эзекиэль Ариас, работал в химчистке, а мать была швеёй. У Оливии есть два брата (Рон и Джилберт) и две сестры (Крис и Линда). В 1965 году Оливия окончила среднюю школу Хауторн в Калифорнии. Позже она устроилась работать секретаршей в компанию звукозаписи A&M Records, где в 1974 году познакомилась с Джорджем Харрисоном, которой в то время имел контракт с этой фирмой. В том же году она приняла участие в записи альбома Dark Horse как бэк-вокалистка.
В 1978 году, после того, как Харрисон официально развёлся со своей первой женой Патти Бойд и у Оливии родился сын Дхани, пара поженилась в городке Хенли-на-Темзе, расположенном неподалёку от поместья Харрисона «Фрайар-парк». Когда три года спустя Оливия и Джордж присутствовали на свадьбе Ринго Старра и Барбары Бах, было замечено, что Оливия не носила обручального кольца. После этого в СМИ появились неверные сообщения о том, что Джордж и Оливия на самом деле никогда не заключали брак. Джордж Харрисон всегда называл Оливию по её девичьей фамилии Ариас, именно так упоминая её в своих альбомах. В интервью для «Musician Magazine» в 1991 году он даже называл Оливию «моя жена Ариас».
В 1990-е годы, вместе с жёнами других битлов (Линдой Маккартни, Йоко Оно и Барбарой Бах) Оливия приняла участие в благотворительной программе «Romanian Angel Appeal», которая собрала несколько миллионов долларов для помощи румынским детям, живущим в нищете.
В 2002 году, в память о своём муже Оливия выступила продюсером Концерта для Джорджа. Концерт прошёл в лондонском королевском Альберт-холле и в нём приняли участие Эрик Клэптон, Джефф Линн, Пол Маккартни, Том Петти, Билли Престон, Рави Шанкар, Ринго Старр, Том Хэнкс, британская комик-группа «Монти Пайтон» и многие другие. Практически во всех номерах концерта на акустической гитаре сыграл сын Оливии Дхани Харрисон. В 2005 году Оливия получила премию Грэмми как продюсер музыкального видео в категории «Лучшее полнометражное музыкальное видео».
1 июня 2009 года, вместе с Йоко Оно, Полом Маккартни и Ринго Старром, Оливия приняла участие в проводимой компанией Microsoft пресс-конференции по случаю презентации новой музыкальной видеоигры «The Beatles Rock Band».