Рудольф II был младшим сыном германского короля Рудольфа I. В 1282 г. он вместе со своим старшим братом Альбрехтом I стал герцогом Австрии и Штирии, положив таким образом начало правлению Габсбургов в этих государствах. Рудольф II также получил титул герцога Швабии, что выражало претензии Габсбургов на верховную власть в юго-западной Германии. Однако спустя всего лишь год, в 1283 г. Рудольф II был вынужден отказаться от австрийского престола в пользу Альбрехта I, за что ему была обещана территориальная компенсация в будущем. Однако Альбрехт I так никогда и не передал своему брату сколь-либо существенные земельные владения. Сам Рудольф II в 1290 г. неожиданно скончался. Его единственный сын Иоганн Швабский в 1308 г. в качестве мести за лишение отца наследства убил Альбрехта I, ставшего к тому времени королём Германии.