С 1980 по 1983 год Тон играл за юношескую команду «Шальке 04». 24 августа 1984 года он дебютировал во взрослой команде, в матче с мёнхенгладбахской «Боруссиией». Олаф играл за «Шальке» на протяжении 5-и сезонов, после чего перешёл в «Баварию». В составе мюнхенцев он стал трёхкратным чемпионом Германии. Всего за «Баварию» Тон провёл 11 сезонов, после чего вернулся в «Шальке», с которым смог выиграть в 1997 году и свой первый еврокубок — Кубок УЕФА. В 2002 году Тон завершил карьеру.
Тон сыграл в составе сборной Германии на 3-х Чемпионатах мира, в том числе и в победном для немцев Чемпионате 1990 года, а также на Чемпионате Европы 1998. В период с 1990 по 1998 год Тон редко играл за сборную, из-за разногласий с главным тренером Берти Фогтсом.
С 2002 по 2009 год работал менеджером по маркетингу в «Шальке 04». В 2010 занял пост главного тренера «Хюлс».
Шальке-04
Бавария