Кассел учился и выступал за школу имени Пола Лоуренса Данбара. Сэм хотел поступить в университет ДеПол. Но приёмная комиссия учебного заведения отказа ему в допуске к экзаменам из-за академической неуспеваемости. Представители колледжа Сан Ясито оказались менее привередливыми, и вскоре играл за скромный университет из Техаса. После первого курса Сэм перешёл в университет Флорида Стэйт. Набирая в среднем за игру 18,3 очка, делая 4,9 передачи и 4,3 подбора.
В 1993 году Кассел был выбран в первом раунде драфта под 24-м номером командой «Хьюстон Рокетс». За первые два года выступления в Лиге Сэм стал дважды чемпионом. После столь яркого начала карьеры Сэм немного сбавил обороты, выступая за «Финикс Санз», «Даллас Маверикс» и «Нью-Джерси Нэтс».
В 1999 году Кассел стал частью команды «Милуоки Бакс». «Бакс» тренеровал Джордж Карл, а в команде подобралась целая плеяда талантливых исполнителей, среди которых особенно выделялись Глен Робинсон и Рэй Аллен. Однако за четыре года максимум чего удалось добиться — это финал Восточный конференции.
В 2003 году Кассел перешёл в клуб «Миннесота Тимбервулвз». В Миннесоте Сэм образовал мощное атакующее трио с форвардом Кевином Гарнеттом и защитником Лэтреллом Спрюэллом. В том сезоне команда достигла наибольшего успеха в своей истории, заняв первое место в своём дивизионе и дойдя до финала Западной конференции в плей-офф, где уступила «Лос-Анджелес Лэйкерс». Выступая за «Тимбервулвз» Сэм был впервые выбран для участия в Матче всех звёзд в Лос-Анджелесе.
В 2005 году Кассел перешёл в «Лос-Анджелес Клипперс», став в «Клипперс» одним из системообразующих игроков. Во многом благодаря его выступлению сезон-2005/06 стал лучшим в новейшей истории «парусников». Затем команда только ухудшала свои результаты, спускаясь всё ниже в турнирной таблице.
В 2008 году руководство «Бостона», создавая супер-трио Гарнетт-Пирс-Аллен пригласили Кассела в команду. Завоёванный в 2008 году в составе «Селтикс» титул позволил Сэму эффектно закончить карьеру игрока.
В настоящий момент Кассел является помощником главного тренера «Вашингтон Уизардс» Флипа Сондерса, с которым они работали в связке игрок-наставник в «Миннесоте».