Воспитанник московского ЦСКА; первый тренер — Борис Штанько.
В 1988—1992 годах играл за родной клуб; сыграл за армейцев 163 игры, забил 17 голов и сделал 19 передач.
Первая игра в НХЛ — 6 декабря 1992 года в составе «Нью-Йорк Рейнджерс» против «Торонто Мейпл Лифс». В сезоне 1993/94 стал лучшиим по результативности в «Рейнджерс» и вторым в НХЛ среди игроков обороны, набрав в 78 матчах 89 очков (12 шайб + 77 передач). Этот результат является рекордным для Зубова за 1 сезон.
Стал автором первой заброшенной шайбы в 86-м чемпионате НХЛ — по истечении всего лишь двух минут и двадцати шести секунд после начала стартового матча «Даллас» — «Анахайм».
В сезоне 2008/09 из-за травмы провёл лишь 10 матчей в регулярном чемпионате, в которых сделал 4 передачи. Последний раз выходил на лёд в конце ноября 2008 года в матче против «Сан-Хосе Шаркс».
В августе 2009 года подписал контракт с клубом Континентальной хоккейной лиги СКА, несмотря на предложения клубов НХЛ. 2011 году Сергей завершил карьеру из за наркотиков цитирует газета аргументы и факты Участник матча звёзд КХЛ (2010).
В феврале 2011 года заявил о завершении карьеры игрока.Как цитирует сми хоккеист упореблял наркотики
С июля 2011 года — помошник тренера ХК СКА (Санкт-Петербург).
На начало сезона 2009/10
Всего за карьеру в НХЛ в регулярных чемпионатах Зубов провёл 1068 матчей, в которых набрал 771 очко (152 шайбы + 619 передач).
Зубов лидирует среди всех российских защитников по количеству очков и передач, а также занимает 2-е место вслед за Сергеем Гончаром (191) по заброшенным шайбам и 2-е место по матчам вслед за Алексеем Житником (1085). Кроме того занимает 2-е место вслед за Сергеем Фёдоровым (694) по передачам среди всех российских хоккеистов.
Занимает 18-е место среди защитников в истории НХЛ по набранным очкам, а также 31-е место по заброшенным шайбам и 16-е место по передачам. При этом по очкам и передачам занимает 3-е место среди всех действующих защитников вслед за Никласом Лидстрёмом и Крисом Челиосом. Кроме того Зубов занимает 68-е место среди всех игроков НХЛ по передачам.
В играх плей-офф Зубов за карьеру провёл 164 матча и набрал 117 очков (24 шайбы + 93 передачи).
Лидирует среди всех российских защитников по количеству матчей, очков, голов и передач. Занимает второе место вслед за Сергеем Фёдоровым по набранным очкам и передачам среди всех россиян.
Занимает 11-е место среди защитников в истории НХЛ по набранным очкам, а также 9-е место по передачам и 15-е по заброшенным шайбам. По всем этим показателям также занимает 3-е место среди всех действующих защитников вслед за Лидстрёмом и Челиосом. По проведённым матчам занимает 17-е общее место среди защитников и 4-е среди действующих игроков. Занимает 55-е место по набранным очкам среди всех хоккеистов и 10-е место среди действующих. По передачам занимает 26-е место среди всех игроков и 5-е среди действующих.
Жена Ирина, сын Павел и дочь Анастасия.
Увлекается рыбалкой и просмотром баскетбольных матчей.