С детства изучал военное дело, считался самым талантливым среди братьев. С 1795 шеф 1-го драгунского полка. Участвовал неоднократно в наполеоновских войнах. Несмотря на выдающуюся личную храбрость, не раз терпел поражения от французских генералов (в 1800 г. — при Гогенлиндене). В начале кампании 1809 г. захватил врасплох войска Э. Богарне и нанёс им поражение при Сачиле. Но после известий о поражении австрийцев в Германии и подходе к Богарне подкреплений во главе с Э. Макдональдом отступил в Пиаве и Тальменто, а затем был отброшен за Норичские Альпы. Отступив к Раабу, он занял неприступную позицию, по 14 июня был выбит с неё Богарне. Во время сражения при Ваграме находился в районе Маршега и прибыл на поле сражения, когда основные силы австрийцев были уже разбиты.
Главным центром его деятельности был Тироль, где он готовил народ к восстанию против французов. В 1815 г., командуя австрийской резервной армией, взял крепость Гюнинген. После окончания военных действий был назначен главным директором инженерной части. Занимался историей и естествоведением, объехал из конца в конец Тироль, Штирию, Каринтию, собрал богатые естественно-исторические и археологические коллекции, которыми обогатил Инсбрукский университет и дал возможность сопровождавшим его специалистам исследовать весь этот край в историческом, этнографическом и экономическом отношениях. Он заботился также об улучшении системы укреплений и о целесообразном устройстве сети сухопутных и водяных сообщений.
В 1823 году эрцгерцог Иоганн, к большому неудовольствию родственников, женился морганатически, на простолюдинке — дочери тирольского почтмейстера Анне Плёхль, которой было дозволено принять титул графини фон Меран. Этот титул носил и их сын Франц Людвиг, потомство которого продолжается и по сей день (среди них — дирижёр Николаус Арнонкур). После опалы, вызванной этим браком, эрцгерцог вновь выдвинулся на политическое поприще с началом революционных событий 1848 г. Император Фердинанд, оставив Вену, назначил его там своим наместником; национальное собрание в Франкфурте выбрало его имперским викарием; в этой должности он оставался до 20 декабря 1849. В Граце ему в 1878 г. поставлен памятник.