В 1140 году он стал пфальцграфом Рейнским, однако, после неожиданной смерти старшего брата Леопольда IV в 1141 году, вернулся в Баварию.
Унаследовав от своего брата конфликт с Вельфами за баварский престол, Генрих II был вынужден в начале своего правления оборонять свои владения от войск Вельфов и подавлять восстания их сторонников в Баварии. В 1147 году в Австрию вторглись венгерская армия, которая, однако, была разбита Генрихом II в сражении на реке Лейта. Одержав победу над венграми, герцог отправился в крестовый поход, в ходе которого женился на византийской принцессе Феодоре Комнин. По возвращении в Баварию вновь разгорелась война с Вельфами. Положение осложнилось в 1152 году, после вступления на престол Священной Римской империи Фридриха I, стремящегося к мирному разрешению конфликта между Вельфами и Бабенбергами для консолидации сил империи с целью завоевания Италии.
В 1156 году император Фридрих I передал Баварию главе дома Вельфов Генриху Льву, а в качестве компенсации Генриху II издал особый патент об австрийских владениях Бабенбергов, известный под названием Privilegium Minus. Этим документом Австрия возводилась в ранг герцогства, провозглашалась её полная независимость от Баварии и устанавливалось право наследования австрийского престола династией Бабенбергов как в мужской, так и в женской линии, а также возможность назначения герцогом своего преемника (единственное в своём роде право среди всех немецких княжеств). Таким образом была заложена основа новой австрийской государственности и созданы предпосылки для расширения самостоятельности Австрии.
В конце своего правления Генрих II участвовал в походах императора Фридриха I против итальянских городов и восставших немецких князей. В 1166 году герцог вёл от имени императора переговоры с Византией. На региональной арене Генрих II сотрудничал с Каринтией против коалиции Чехии, Венгрии и Штирии. Несмотря на успешное вторжение в Штирию, в 1176 году чешско-венгерские войска одержали верх над австрийцами и разорили долину Дуная.
В 1145 году Генрих II перенёс столицу Австрии в Вену. С его правления началось бурное развитие этого города. В 1147 году было закончено строительство собора Святого Стефана в Вене, который до настоящего времени остаётся одной из главных достопримечательностей столицы.
Происхождение прозвища Генриха II — Язомирготт (Jasomirgott) — не вполне ясно. Согласно одной теории, оно восходит к арабскому языку и связано с участием герцога в крестовом походе. По другой версии, оно представляет собой укороченную фразу Ja so mir Gott helfe (если бы Бог мне помог). Возможно, что оно славянского (словенского) происхождения и означает "Я за мир" (Ja za mir). (ArtGam, Ober)
1-я жена: с 1142 Гертруда Супплинбургская (1115—1143), дочь Лотаря II, императора Священной Римской империи. Дети:
2-я жена: с 1148 Феодора Комнина (ум. 1183), племянница Мануила I, императора Византии. Дети: