Каспар начал кататься на коньках в возрасте 9 лет. Обучался он на искусственным катке Эдуарда Энгельманна младшего. Славился необычно высокими прыжками.
Когда началась Вторая мировая война, Каспар находился в Австралии, где и остался на весь период войны. В Австралии Каспар познакомился со своей будущей женой Джун. Они прожили вместе 54 года.
В 1965 году Каспар переехал с женой и дочерью в Миннеаполис, штат Миннесота, и работал там тренером по фигурному катанию. Среди прочих, он тренировал японскую фигуристку Эми Ватанабе.
В 1977 году семья переехала в Пасадину, штат Калифорния, и здесь Каспар тоже работал в качестве тренера.
В 1988 году Каспар был введён в Зал мировой славы фигурного катания.
В 1989 году Каспар и его жена, уже будучи на пенсии, переехали во Флориду. Феликс Каспар страдал от болезни Альцгеймера и умер в возрасте 88 лет.