Скарсгорд получил известность ещё в юности, благодаря ролям на национальном телевидении. В период 1972—1988 годов играл на сцене Королевского драматического театра в Стокгольме. В кино снимается с 1982 года. За киноработы 1980-х годов был удостоен приза национальной шведской кинопремии и приза «Серебряный медведь» на Берлинском кинофестивале. Всего был одиннадцать раз номинирован на различные кинематографические награды, пять из которых получил. Стал известен в Голливуде после роли в фильме Фила Кауфмана «Невыносимая лёгкость бытия» (1988). Сыграл заметные роли в трёх фильмах Ларса фон Триера: «Рассекая волны», «Танцующая в темноте» и «Догвилль». К настоящему времени снялся более чем в восьмидесяти фильмах.