Вильям был сыном нормандского рыцаря Осберна, сенешаля и двоюродного брата Роберта II, герцога Нормандии. Когда после смерти Роберта II герцогом стал его малолетний сын Вильгельм, одним из его опекунов стал сенешаль Осберн. В 1040 г. Осберн был убит при защите юного герцога от заговорщиков. Место отца при дворе Вильгельма занял его сын Гийом (в английской традиции — Вильям), унаследовавший от своей матери сеньории Паси и Бретейль.
Сенешаль Вильям был одним из первых и наиболее активных сторонников организации нормандского вторжения в Англию. По легенде, именно он убедил сомневающих нормандских баронов в реальности и выгодности этого предприятия. Фиц-Осберн был одним из предводителей армии герцога Вильгельма, высадившейся в конце сентября 1066 г. на английском побережье. Он участвовал в битве при Гастингсе и вскоре после того, как Вильгельм был коронован королём Англии, получил во владение остров Уайт и титул графа Херефорда, став, таким образом, одним из первых представителей английской титулованной знати. Когда весной 1067 г. король Вильгельм отправился в Нормандию, Вильяму Фиц-Осберну вместе с Одо, епископом Байё, было поручено управление Англией. Главной задачей Фиц-Осберна стала организация обороны восточных регионов страны с тем, чтобы не допустить возможного датского вторжения. Именно в Дании нашли убежище многие англосаксонские аристократы, а сам датский король Свен Эстридсен сохранял претензии на престол Англии. Резиденцией Фиц-Осберна стал Норидж. Датский флот прибыл, но лишь осенью 1069 г., и, благодаря системе обороны, организованной Вильямом, не смог высадиться в Восточной Англии. В дальнейшем Вильям Фиц-Осберн оставался близким соратником короля Вильгельма, регулярно участвовал в заседаниях Большого королевского совета и нормандских походах на север.
В качестве графа Херефорда, Вильям Фиц-Осберн стал создателем новой системы обороны уже в западной Англии. Вдоль валлийской границы он выстроил целый ряд замков: Монмут, Карисбрук, Чепстоу и Вигмор, закрывших пути из Южного Уэльса в Англию. Более того, графу удалось установить английскую власть в Гвенте, одном из кельтских королевств юго-восточного Уэльса.
Авторитет и влияние Фиц-Осберна ярко проявились в 1070 г., когда умирающий Болдуин VI, граф Фландрии, назначил Вильяма опекуном своего малолетнего наследника. Вторым опекуном стал Филипп I, король Франции. Однако вскоре после смерти Болдуина VI во Фландрии вспыхнуло восстание против правления вдовы умершего графа Рихильды Генегауской. Во главе восставших встал брат Болдуина Роберт Фриз. Рихильда обратилась за помощью к Вильяму Фиц-Осберну и предложила ему свою руку и сердце. В конце 1070 г. Вильям с небольшой армией высадился во Фландрии, но 22 февраля 1071 г. англо-нормандские войска были разбиты в сражении при Касселе, а сам граф Херефорд был убит. Неудача фландрской экспедиции Вильяма Фиц-Осберна резко осложнила англо-фламандские отношения. Роберт Фриз, укрепившийся на престоле с помощью французского короля, стал одним из главных противников Вильгельма Завоевателя и неоднократно оказывал поддержку и предоставлял убежище англосаксонским изгнанникам.
Вильям был женат на Аделизе де Тосни, от которой имел, по крайней мере, двух сыновей: старший, Гийом де Бретей, унаследовал нормандские владения своего отца, а младший, Роджер, стал 2-м графом Херефордом и наследником земель в Англии.