Футбольную карьеру Оливер начал в детских и юношеских командах Эссена и Уердингена. В 1987 году он стал чемпионом Германии для команд в возрасте до 20 лет.
Профессиональная карьера началась в клубе Байер 05 Уердинген, затем последовали «Гамбург», «Боруссия» Мёнхенгладбах, «Аустрия» Зальцбург, «Асколи» Кальчо, «Удинезе», «Милан», «Монако» и «Кьево». В 2003 году Бирхофф закончил карьеру игрока в клубе Кьево.
Первые годы спортивной карьеры в Бундеслиге Бирхофф ничем особенным не выделялся. В 1990 году он перешёл в «Аустрию» из Зальцбурга и в первый же сезон установил клубный рекорд результативности, забив 23 гола. В следующем сезоне он был куплен миланским «Интером», но сразу же отдан в аренду в клуб серии В «Асколи». В Асколи Бирхофф провел четыре года, после чего оказался в клубе серии А «Удинезе». В сезоне 1997/98 Бирхофф стал лучшим бомбардиром серии А с 27 голами. В 1998 году Бирхофф становится Футболистом года на родине, и переходит в «Милан», с которым в 1999 становится чемпионом Италии.
С 1996 по 2002 годы Бирхофф сыграл 70 игр за Сборную Германии и забил 37 голов. Первый матч провёл 21 февраля 1996 года против Португалии(2:1), последний 30 июня 2002 года — финальный матч чемпионата мира против Бразилии (0:2). Принимал участие в чемпионате мира 1998 года во Франции и чемпионате мира 2002 в Японии и Корее, где стал вице-чемпионом мира.
Бирхофф забил Золотой гол в финале чемпионата Европы 1996 против сборной Чехии. Этот гол сделал сборную Германии чемпионом Европы 1996 года. На чемпионате Европы 2000 Оливер Бирхофф был капитаном немецкой сборной.
С назначением Юргена Клинсманна тренером сборной Германии, 29 июля 2004 года специально для Бирхоффа была введена новая должность спортивного менеджера сборной. С тех пор и по сегодняшний день Бирхофф бессменно работает в этой должности.
Кроме того, Бирхофф является сокомментатором игр Лиги чемпионов на телеканале Sat.1.