В 1057 году Рудольф получил герцогство Швабию и управление Бургундией от императрицы Агнесы, матери Генриха IV и вступил в брак с ее дочерью Матильдой. Рудольф содействовал победе Генриха над саксонцами при реке Унструте в 1075 году, но затем он перешел на сторону противников Генриха. На собрании князей в 1076 году он участвовал в решении лишить Генриха престола, если тот в течение года не освободится от церковного отлучения. Несмотря на то, что Генрих IV получил в Каноссе отпущение грехов, князья, в отсутствие папских легатов, выбрали Рудольфа королем (в Форхгейме 15 марта 1077 года), с тем условием, чтобы выборы епископов были свободны, а королевский сан ни в каком случае не был бы наследственным. 26 марта Рудольф короновался в Майнце.
7 августа 1078 года между Генрихом и Рудольфом произошла битва при Мелльрихштадте, с сомнительным исходом. При Флархгейме, 27 января 1080 года, Рудольф одержал победу, после чего Генрих повторно был отлучен от церкви. При Гогенмользене, 15 октября 1080 года, победил Рудольф, но один из рыцарей Генриха во время битвы прорвался к Рудольфу, отрубил ему руку и нанес тяжелую рану в живот. Рудольф умер днем позже и был похоронен в Мерзебурге, где сохраняется отрубленная у него в битве кисть руки.