Леопольд IV был сыном австрийского маркграфа Леопольда III Святого и Агнессы, дочери императора Генриха IV.
В 1138 году на престол Германии вступил король Конрад III Гогенштауфен, единокровный брат по матери маркграфа Леопольда IV. Естественно, что Леопольд IV активно поддержал Гогенштауфенов в их борьбе с домом Вельфов. В 1139 году, после лишения всех титулов герцога Баварии Генриха X из династии Вельфов, король передал герцогство Леопольду IV. В результате Австрия была объединена с Баварией, а влияние Бабенбергов резко возросло.
На всём протяжении недолгого правления Леопольда IV в Баварии он вел непрекращающуюся борьбу с Вельфами. Борьба эта была неудачной: в 1141 году герцог потерпел поражение и вскоре скончался. Леопольд IV не имел детей и ему наследовал его младший брат Генрих II Язомирготт.