Начинал карьеру в рижском «Динамо» (1990—1992), куда его взял 17-тилетним юношей Эвалд Грабовский.
В составе молодёжной сборной СССР стал чемпионом мира среди юниоров в 1992 году. Выступал за сборную Латвии на чемпионатах мира в 1994, 1997, 1999, 2001, 2002 и 2004 годах.
В период с 1992 по 2004 год провел 10 сезонов в командах НХЛ: Бостон Брюинз, Оттава Сенаторз, Монреаль Канадиенс, Эдмонтон Ойлерз, Миннесота Уайлд и Нэшвилл Предэйторз. Всего в составе команд НХЛ сыграл 588 матчей.
В 2004 году, во время локаута вернулся в Латвию, выступал за ХК Рига 2000 в чемпионате Латвии и в Открытом чемпионате Белоруссии.
Умер от сердечного приступа во время матча ХК Рига 2000 и Динамо Минск 3 ноября 2004 года в Минске. Похоронен в Риге на Ивановском кладбище.
С 2005 года в Риге ежегодно проводится международный хоккейный турнир молодежных сборных Мемориал Сергея Жолтока. В честь Сергея Жолтока названа рижская средняя школа № 55.