Его отец, Конрад I Старый, был советником короля Восточно-Франкского королевства Людовика II Немецкого. В 858 году Конрад II вместе с младшим братом Гуго Аббатом оказались на службе у своего двоюродного брата, короля Западно-Франкского королевства Карла II Лысого, где объединившись с архиепископом Гинкмаром, который дал им в своём королевстве владения. Конрад получил графство Осер.
Однако уже в 864 году Конрад и Гуго по неизвестной причине впали в немилость, были лишуны своих владений и бежали ко двору короля Лотарингии Лотаря II. Конрад поддержал короля Лотаря, который развёлся со своей женой Теутбергой и женился на наложнице Вальдраде. В том же году Конрад около убил Губерта, аббата монастыря Сент-Мориц в Агоне, брата королевы Теутберги. В вознаграждение за это в декабре он получил земли вокруг Женевы и Лозанны на территории современной Швейцарии — между Юрой и Альпами. Эти владения образовали маркграфство (затем герцогство) Верхняя Бургундия, позже явившееся ядром Верхнебургундского королевства.
Точный год смерти Конрада неизвестен. В последний раз он упомянут в 872 году. Вероятно он умер около 876 года, его наследником стал единственный сын Рудольф (Рауль) I.
Жена: Вальдрада, возможно дочь Ламберта, графа Вормсгау. Дети: