Родился в семье органиста и учителя музыки; был шестым сыном из одиннадцати детей. Образование получил в мейденхедском техническом колледже. В 1908 году, благодаря назначенной стипендии, поступает в лондонскую Школу изящных искусств Слейд, где занимается под руководством художника Генри Тонкса. В 1912 получает премию за полотно «Рождение». Во время учёбы у Слейда Спенсер знакомится с художниками Полом Нэшем, Кристофером Невинсоном, Уильямом Робертсом, Марком Гертлером и Дэвидом Бомбергом. Впоследствии, в 1920-х годах, Спенсер вместе с Нэшем, Тонксом, Гертлером и Дунканом Грантом вступает в Ново-английский художественный клуб.
Во время Первой мировой войны С.Спенсер служит санитаром, с 1916 и по декабрь 1918 года в Греции и в Македонии, откуда вернулся больным малярией. В 1919 году он знакомится с художницей Хильдой Карлайн, и в 1925 вступает с ней в брак, в котором родились две девочки. Этот брак распался в 1937 году, после поездки Спенсера в Швейцарию. Спустя 4 дня после развода художник вновь женится — на этот раз на художнице-лесбиянке Патриции Прис, продолжавшей одновременно сожительствовать со своей «подругой»-художницей Дороти Лепуорт, картины которой жена Спенсера выдавала за свои. Этот второй брак живописца фактически не состоялся, и через год Спенсер вновь разводится. Своё разочарование в женской любви художник отобразил в своих полотнах, где обнажённые женские тела рисует складчатыми, нанося их на холст резкими мазками. В 1940-х годах он живёт совместно с парой художников — Джорджем и Дафной Чарльтон.
Во время Второй мировой войны С.Спенсер — мобилизован как «военный художник». После 1945 года живёт уединённо и работает в Кливедене. В 1950 году он становится командором ордена Британской империи, в том же году был принят в члены Королевской Академии художеств. С 1958 года С.Спенсер — почётный доктор искусств Саутгемптонского университета. В том же году посвящён в рыцари в Букингемском дворце. В последние годы большое место в его творчестве занимала религиозная тематика. Умер от рака.
На родине художника, в Кукхеме, открыт музей-галерея его имени.