Начал заниматься футболом в родном городе. В 2007 году оказался в юношеской команде «Янг Бойз».
За первую команду дебютировал 14 сентября 2008 года в выездном матче чемпионата матче против «Беллинцоны». После этого матча молодой защитник стал игроком стартового состава клуба и провел до окончания сезона еще 25 игр.
В сезоне 2009—2010 Аффольтер провел за «Янг Бойз» 46 матчей в различных турнирах. 10 апреля 2010 года в компенсированное время матча чемпионата Швейцарии против «Беллинцоны» футболист ударом головой забил свой первый в карьере гол, оказавшийся в той встрече победным.
В квалификации Лиги чемпионов 2010—2011 Аффольтер помог своей команде выбить из турнира по итогам двухматчевого противостояния турецкий «Фенербахче» и победить в первом матче английский «Тоттенхэм». В ответном матче с англичанами, проигранном 0:4, защитник участия не принимал.
В составе юношеской сборной Швейцарии (до 19 лет) Аффольтер принимал участие в чемпионате Европы 2009 года. Защитник провел все три матча группового турнира без замен, а швейцарцы заняли третье место в группе А, пропустив в полуфинал Англию и Украину.
За молодежную сборную Швейцарии Аффольтер дебютировал 4 сентября 2009 года в гостевом матче отборочного турнира к чемпионату Европы против молодежной сборной Армении.
В первой сборной Швейцарии впервые сыграл в товарищеском матче с Австрией 11 августа 2010 года.