Карл Шефер родился в Вене недалеко от искусственного катка Эдуарда Энгельманна младшего. Когда ему было 11 лет, тренер Рудольф Куцер заметил в нём талант. Шефер был разносторонне одаренным человеком: он очень хорошо играл на скрипке, а также был чемпионом Австрии по плаванию брассом и даже участвовал в летних Олимпийских играх 1928 года.
По окончании карьеры спортсмена, в 1936 году, Карл переехал в США где работал тренером. В 1938 году он открыл в Венне склад спортивных товаров. В 1940-ом он и Нерта Вотчер (также тренер фигурного катания) основали шоу "Ревю льда Карла Шефера" (Karl-Sch?fer-Eisrevue). В 1943 году Карл Шефер снялся в качестве актёра в фильме "Der wei?e Traum" (Белая мечта). После Второй мировой войны участвовал в восстановлении катка Энгельманна и с 1946 года тренировал там молодых фигуристов.
Между 1956 и 1962 он снова уезжал в США, чтобы работать там тренером по фигурному катанию. В 1962-ом он вернулся в Вену и жил там и работал до конца жизни. Был женат на Кристине Энгельманн, самой младшей дочери Эдуарда Энгельманна младшего.
C 1974 года по 2008 год в Вене, ежегодно, проходил турнир названный в честь Карла Шефера — «Мемориал Карла Шефера» (нем. Karl Sch?fer Memorial).