Эрцгерцог Людвиг Иосиф был пятнадцатым ребёнком и одиннадцатым сыном в семье тосканского великого герцога Пьетро Леопольдо I и его супруги Марии Луизы Испанской. В 1790 году после того, как отец унаследовал императорский престол, семья переехала в Вену. В возрасте восьми лет потерял обоих родителей.
С детства готовился к военной карьере. В 1809 году эрцгерцог Людвиг командовал 5 корпусом, входившим в состав армии под командованием старшего брата — эрцгерцога Карла. Австрийские войска в апреле 1809 года вторглась в Баварию и дали несколько сражений. 20 апреля эрцгерцог Людвиг потерпел поражение в битве при Абенсберге. После поражения Австрии в войне и заключения мира с Наполеоном Людвиг не занимал больше командных постов в армии.
Позднее выполнял ряд поручений своего брата императора Франца, посещая с дипломатической миссией Великобританию, Францию и Российскую империю.
После смерти императора эрцгерцог Людвиг стал председателем Государственной конференции (de:Geheime Staatskonferenz) — комитета высших сановников, исполнявшего роль коллективного регента при новом императоре Фердинанде I. Людвиг поддерживал абсолютистскую политику князя Меттерниха. После революционных выступлений 1848 года и отречения императора Фердинанда I, которое состоялось 2 декабря 1848 года в Оломоуце, эрцгерцог Людвиг не занимал никаких государственных постов.
Эрцгерцог Людвиг скончался в Вене 21 декабря 1864 года.