Олег Губин начал свою профессиональную карьеру в 1999 году в клубе Высшей лиги саратовском «Кристалле». В Высшей лиге Олег выступал до 2005 года. За это время он становился игроком лениногорского «Нефтяника», воскресенского «Химика» и электростальского «Кристалла». В сезоне 2004/05 Губин дебютировал в Суперлиге, сыграв один матч за нижнекамский «Нефтехимик». Сезон 2005/06 Олег вновь провёл в Высшей лиге в составе клуба «Крылья Советов», с которым вышел в Суперлигу, став одним из главных творцов того успеха.
29 января 2007 года после долгих разбирательств с московским клубом Губин перешёл в состав череповецкой «Северстали», где и выступал до 2010 года. 24 сентября 2010 года в результате обмена на Мартина Цибака Губин стал игроком московского «Спартака», в составе которого за оставшуюся часть сезона 2010/11 набрал 27 (14+13) очков в 51 проведённом матче.