Третий сын императора Фердинанда I и его жены Анны Богемской и Венгерской.
Герцог первоначально миролюбиво относился к протестантам. В 1572 году Карл II узаконил в стране свободу вероисповедания и Грац стал центром протестантского движения всей Внутренней Австрии. Однако уже в 1573 он пригласил в Штирию иезуитов, которые в 1586 году основали Католический Грацский университет. Сын и наследник Карла II Фердинанд II продолжил борьбу с протестантами и изгнал из Штирии протестантских проповедников.
В 1571 году он женился на своей племяннице Марии Анне Баварской (1551—1608), дочери герцога Баварского Альбрехта V и Анны Австрийской. Дети: