Овадья родился в Багдаде под именем Авдаллах Юсуф в семье торговцев. В 1924 г. семья переехала в Иерусалим и поселилась в бухарском квартале. Отец Овадьи содержал лавку и хотел со временем ввести в свои дела своего сына, однако молодой Овадья не проявил к этому никакого интереса. Окружающие обратили внимание на хорошие способности Овадьи в изучении Торы, и он был направлен в иешиву Порат Йосеф. Рав Овадья быстро проявил себя там, как один из наиболее одарённых учеников и вскоре был замечен главным раввином Бен-Ционом Узиэлем, который дал ему смиху в 20 лет. Вскоре после женитьбе на Маргалит в 1943 г. рав Узиэль отправил молодого раввина в 1946 г. в Египет, чтобы занять должность заместителя главного раввина. Рав Овадья быстро себя проявил как выдающийся организатор и эрудит, несмотря на молодой возраст, улучшил духовное положение общины и смог наладить хорошие отношения с властями. В 1950 г. вскоре после создания Израиля рав Овадья вернулся и был назначен судьёй окружного раввинского суда Петах-Тиквы и Иерусалима. В 1968—1973 гг. занимал должность сефардского раввина Тель-Авива. В 1970 г. получил премию по религиозной литературе. С 1973 по 1983 гг. главный сефардский раввин Израиля. В 1983 был среди учредителей партии ШАС и с тех пор является её духовным руководителем.
В апреле 2005 израильские службы безопасности арестовали трёх членов террористической организации Народный фронт освобождения Палестины, которые вели слежку за Овадьей Йосефом. Одного из них, Мусу Дарвиша, 15 декабря 2005 приговорили к 12 годам тюремного заключения за планирование покушения и другие преступления.
Наиболее радикальные высказывания Овадьи Йосефа не раз оказывались в центре внимания прессы. В 2000 году он заявил, что жертвы Холокоста получили возмездие за грехи, совершенные ими в предыдущих воплощениях. В 2009 году, он вновь заявил, что евреи-жертвы нацизма понесли наказание от Бога за грехи их предков (непослушание и отсутствие богобоязненности). Эти высказывания вызвали критику Йосефа как со стороны религиозных авторитетов, в частности главного раввина Израиля Меира Лау, так и светских политиков, включая премьер-министра Эхуда Барака.
Во время урагана «Катрина», обрушившегося на США, он заявил, что ураган — наказание президенту США Джорджу Бушу за поддержку эвакуации еврейских поселений из сектора Газы, а также американским неграм — за то, что они не исполняют семь законов потомков Ноя.
Не раз рав Овадья выступал в своих проповедях против действующих премьер-министров и политиков, назвав Барака в бытность премьером «хромой козой», а Йоси Сарида в его бытности министром просвещения, перед Пуримом сравнил с Аманом. В 2001 г. в разгар интифады Аль-Аксы он призвал не быть милосердными к арабам, как к народу, по его мнению желающему уничтожить евреев, заявив
За несколько дней перед парламентскими выборами 10 февраля 2009 года Овадья Йосеф подверг резкой критике Авигдора Либермана, заявив, что те, кто голосует за Либермана, помогают дьяволу и совершают большой грех.
29 августа 2010 года перед началом в США прямых переговоров между Израилем и палестинцами, Овадья Йосеф заявил:
Глава переговорного отдела в правительстве ПНА Саиб Арикат потребовал от премьер-министра Израиля Беньямина Нетаньяху осудить заявление Йосефа, так как по его мнению Йосеф призвал к геноциду палестинцев. Нетаньяху отказался осуждать слова Йосефа, хотя заявил, что он с ними «не согласен».
16 октября 2010 года Йосеф во время субботней проповеди заявил, что единственная цель неевреев — служить евреям, обеспечивать им лучшую жизнь. Также в ходе проповеди он признался что гои получают жизнь лишь для того чтобы долго и хорошо работать на благосостояние евреев.