Стюарт учился в Фрамлингхэмском колледже (Framlingham College) в Саффолке, из которого ушёл в 1941 году. Служил в истребительной авиации ВВС Великобритании (RAF Fighter Command) во время Второй мировой войны, дослужившись до старшего лейтенанта авиации (Flying Officer).
После окончания войны он завершил своё образование в Королевском колледже (King’s College) в Кембридже, где получил степень бакалавра гуманитарных наук в 1948 году и магистра гуманитарных наук в 1953 году.
Стюарт начал карьеру, устроившись помощником библиотекаря в Вестминстерской городской библиотеке и библиотеке графства Кент, где проработал в течение четырёх лет.
В 1954 году он перешёл на работу в фирму, которая издавала путеводители «Блю Гайдз» (Blue Guides). Здесь он сделал дальнейшую карьеру, став главным редактором «Блю Гайдз» (1963—1973) и автором-фрилансером путеводителей. На его счету целый ряд неоднократно переиздававшихся туристических справочников по Великобритании и другим европейским странам.
Он также писал статьи для газет, включая «Дейли телеграф», и был выбран действительным членом Королевского географического общества (за путеводитель по Греции).
С 1975 года Росситер был редактором филателистического издания «The London Philatelist» («Лондонский филателист»), публикуемого Королевским филателистическим обществом Лондона (Royal Philatelic Society London). В 1977 году он стал президентом Общества историков почты (Society of Postal Historians) и одновременно редактором журнала «Postscript» этого же общества.
Росситер также основал Кружок изучения Восточной Африки (East Africa Study Circle) и стал его председателем и редактором его журнала. В области филателии он специализировался на Британской Восточной Африке. Росситер написал серию статей по истории почты Уганды, опубликованных в «Постал Хистори Интернэшнл» (Postal History International).
С. Росситер известен как автор объёмного «Атласа почтовых марок» (The Stamp Atlas) по филателистической географии, изданного уже после его смерти, в написании которого также принимали участие Джон Флауэр (John Flower) и Рэйф Уэллстед (Raife Wellsted).
Стюарт Росситер с большим успехом участвовал в национальных и международных филателистических выставках.
С. Росситер скончался в возрасте 59 лет от лейкемии, завещав всё своё имущество фонду Stuart Rossiter Trust. Его мать также завещала своё имущество этому же фонду.