Воспитанник волгоградского спортинтерната. Известен по выступлениям за клуб ЦСКА (Москва), в составе которого становился чемпионом СССР и серебряным призёром чемпионата, обладателем Кубка СССР. После ухода из ЦСКА в 1996 году стал серебряным призёром чемпионата России в составе владикавказской «Алании», после чего до 2004 года выступал за множество российских клубов. Завершил свою игровую карьеру Олег Сергеев в клубе второго дивизиона России «Салют-Энергия» (Белгород), последний год выступая в команде в качестве играющего тренера. В 2005 году продолжил свою работу в белгородском клубе в должности старшего тренера, помогая Сергею Андрееву. В 2006—2007 годах также входил в тренерский штаб Андреева сначала в ростовском СКА, а затем в клубе «Ника» Красный Сулин (ЛФЛ, МРО Юг). После ухода Андреева из клуба Сергеев возглавил команду. В январе 2008 года присоединился к тренерскому штабу курского «Авангарда» в качестве помощника главного тренера Валерия Есипова. В 2010 исполнял некоторое время обязанности главного тренера клуба. В 2011 заменен на посту старшего тренера команды другим бывшим футболистом ЦСКА Сергеем Березиным.
В составе сборных СССР, СНГ и России в 1991—1993 годах сыграл 10 матчей (все товарищеские), забил 2 мяча.