Во время Первой мировой войны служил в уланском полку. В 1921—1931 и 1935—1939 годах был профессором археологии в Львовском университете.
В 1928—1935 годах — депутат Сейма, в 1935—1939 годах — сенатор. Был министром сельскохозяйственных реформ (1930—1932), позднее работал в министерстве финансов (1932—1933).
С 15 мая 1934 по 28 марта 1935 года был премьер-министром Польши.
После того, как советские войска заняли Львов в 1939 году, был арестован и приговорён к смерти. Однако по договорённости с Владиславом Андерсом был освобождён, поступил в его армию в звании поручика. Осенью 1941 года дезертировал и бежал к немцам. Был заочно приговорён к смерти полевым судом армии Андерса.
В польской прессе высказывались неподтверждённые предположения, что Козловский предпринимал попытки сформировать коллаборационистское «правительство» Польши, которые не увенчались успехом — немцы не склонны были восстанавливать независимость Польши ни в каком виде. Однако немцы оценили его услуги — до конца жизни он получал немецкую пенсию, проживал в отеле «Адлон» в Берлине. В 1943 году участвовал в международной комиссии, расследовавшей Катынский расстрел . Умер от сердечного приступа при авианалёте.