Карл Людвиг родился во дворце Шёнбрунн в Вене. Сын эрцгерцога Франца Карла и Софии Баварской. Среди его братьев — император Австрии Франц Иосиф и император Мексики Максимилиан I. После смерти своего племянника кронпринца Рудольфа он стал наследником престола Австро-Венгрии, но спустя несколько дней передал это право своему сыну Францу Фердинанду, впрочем, согласно австрийским законам заочное отречение наследника от престола не имело юридической силы, отречься мог или действующий император (как Фердинанд I) или первоочередной наследник в момент передачи трона (как его отец Франц Карл). Таким образом, с 1889 по 1896 год он считался наследником австрийского престола, однако если бы пережил Франца-Иосифа, отказался бы принять престол.
Карл Людвиг был женат три раза. В 1856 году он взял в жёны Маргарету Саксонскую (1840—1858), дочь короля Саксонии Иоганна. Она умерла спустя два года не оставив детей.
Второй раз он женился в 1862 году на Марии Аннунциате (1843—1871), дочери короля Обеих Сицилий Фердинанда II. Дети:
Его третьей супругой, на которой он женился в 1873 году, была Мария Тереза Браганса (1855—1944), дочь короля Португалии Мигеля. Она родила ему двух дочерей:
В поездке в Египет и Палестину Карл Людвиг выпил воды из реки Иордан и заболел. Он умер от брюшного тифа 19 мая 1896 года.