Сын императора Священной Римской империи Фердинанда III и Марии Леопольдины, эрцгерцогини Австрийской. В 13 лет он уже стал епископом Оломоуца и Пассау. После смерти его дяди Леопольда Вильгельма Австрийского в 1662 году, он унаследовал большую коллекцию произведений искусства, стал Великим магистром Тевтонского ордена, а 23 февраля 1663 года стал архиепископом Вроцлавским под именем Карла III. Свой сан Карл получил от папы римского Александра VII.
Из-за своего юного возраста (он умер в 15 лет), Карл так и не смог полностью исполнять свои обязанности. Как и его родители, он похоронен в фамильной усыпальнице Габсбургов в венской Капуцинеркирхе.