Рудольф был старшим сыном Альбрехта I, короля Германии, герцога Австрии, и Елизаветы Горицкой, дочери Мейнхарда II, герцога Каринтии и графа Тироля. В 1300 году Рудольф III женился на Бланке, дочери французского короля Филиппа III, однако их единственный ребёнок вскоре умер, а сама Бланка скончалась в 1305 году.
В 1306 году после смерти чешского короля Вацлава III и прекращения династии Пржемысловичей, Рудольф III при поддержке своего отца, носившего титул короля римского, предъявил претензии на чешскую корону — как освободившийся имперский феодальный лен. Его соперником за трон стал его дядя по матери Генрих Корутанский, герцог Каринтии, женатый на родной сестре убитого Вацлава — Анне. Для усиления прав Габсбургов на Чехию и Польшу, Альберт женит Рудольфа на вдове Вацлава II, Елизавете из польской династии Пястов. В 1306 году Рудольф с сильной армией захватил Прагу, изгнав оттуда Генриха Корутанского.
Часть чешской аристократии продолжила поддерживать Генриха. Во время осады крепости мятежников Гораждёвице, Рудольф заболел дизентерией и в 1307 году скончался, не оставив после себя потомства. Рудольф был похоронен в Праге в соборе Святого Вита. Чешские дворяне вновь избрали на престол Генриха Хорутанского в обмен на привилегии.