Леопольд II был сыном австрийского маркграфа Эрнста.
В отличие от своих предшественников, Леопольд II порвал с традиционной верностью маркграфов Австрии императору Священной Римской империи и в 1078 году вмешался в борьбу за инвеституру на стороне вельфов и папы римского против императора Генриха IV. Это привело в 1079 году к вторжению имперских войск в Австрию и её разорению. Леопольд II был вынужден подчиниться Генриху IV, однако в 1081 году он вновь присоединился к герцогу Вельфу I Баварскому. Император вступил в союз с Чехией, пообещав князю Вратиславу II уступить ему австрийские земли. В 1082 году в Австрию вторглись чешские войска и разбили Леопольда II в битве при Майлберге. Маркграф был вынужден бежать из страны.
В 1084 году Леопольду II удалось примириться с императором, и он был восстановлен на австрийском престоле. Правда, ему пришлось уступить ряд территорий в южной Моравии чешскому князю.
Жена: Ида Австрийская (Рательберг). Дети: