Воспитанник спортивного клуба «Мотор» города Энгельса. Из детской команды перешёл в местную «Искру», но тренеры поставили его в полузащиту, а Олег хотел быть нападающим. Ради этого он уехал на Украину в Мариуполь, но затем перешёл в саратовский «Сокол», за который провёл 5 сезонов и играл в 1/8 Кубка России против «Спартака» Москва. После этого матча им заинтересовались московские «Спартак», «Динамо», «Торпедо» и австрийская «Аустрия».
Терёхин выбрал «Динамо», где тренером был Константин Иванович Бесков. Авторитет последнего для Терёхина оказался решающим фактором при выборе клуба. В «Динамо» провел 5 сезонов, самых результативных в высшей лиге во всей карьере. Но в надежде сыграть в Лиге чемпионов Олег перешёл в московский «Локомотив». Однако вписаться в уже сложившийся коллектив ему не удалось и он ушёл в «Кубань», выступавшую в первой лиге, снова выбрав тренера — на этот раз им стал Олег Долматов.
Перейдя в 2002 году в «Черноморец» Новороссийск, выйдя вместе с ним в премьер-лигу, Терёхин перешёл в грозненский клуб «Терек» и ещё раз повторил путь сначала в первую, а затем в высшую лигу, однако «Тереку» удержаться в высшем дивизионе не удалось.
Всего провел во 2-й лиге чемпионатов СССР 40 игр, 15 голов, в высшей лиге чемпионатов России — 208 игр, 84 гола, в 1-й лиге чемпионатов России — 212 игр, 104 гола, во 2-м дивизионе чемпионатов России — 4 игры, 3 гола, в 3-й лиге чемпионатов России — 1 игру.