Его отцом был эрцгерцог Карл II из штирийской линии Габсбургов, матерью — Мария Баварская, дочь герцога Альбрехта V Баварского. Его братьями были император Фердинанд II и Леопольд V, епископ Страсбурга и Пассау. Карл родился спустя два месяца после кончины отца в Граце. Уже с первых лет жизни его стали готовить к церковной карьере, он получал образование в Пассау, Зальцбурге, Триенте и Бриксене. Его обучением руководил епископ Зекау Иаков I.
7 июля 1608 года Карл был выбран епископом Бреслау и 14 декабря торжественно въехал в город. В 1613 году стал епископом Бриксенским. В 1619 году, после смерти императора Максимилиана III был выбран великим магистром Тевтонского ордена.
В 1624 году по приглашению испанского короля Филиппа IV Карл отправился в Мадрид, чтобы принять там предложение стать вице-королём Португалии. Но после его прибытия в Мадрид он заболел и скончался 28 декабря 1624 года. Его тело было погребено в монастыре Эскориал, его сердце, согласно его воле, отправлено в иезуитский монастырь Нейсе.