Рано потерял отца и воспитывался Бурхардом Вормсским, не получив при этом ученого образования. Его канонически недопустимый брак с Гизелой был заключен вопреки желанию Генриха II, а в ходе прежних швабских междоусобиц он порой оказывался в изгнании.
После смерти Генриха II, 4 сентября 1024 года, Конрад был избран королём Германии, восторжествовав над своим соперником, двоюродным братом Конрадом Младшим. 8 сентября 1024 года в Майнце он был помазан и коронован. Как преемник Генриха II, Конрад, на основании договора, заключённого королём бургундским (или арелатским) Рудольфом III с Генрихом II, предъявил свои притязания на бургундское наследство. Кроме Конрада, на него предъявлял права Эрнст II Швабский (сын Гизелы, пасынок Конрада), мать которого была племянницей Рудольфа, и Конрад Младший, мать которого (сестра Гизелы) также приходилась племянницей бургундскому королю. Конрад Младший принял участие в восстании, которое поднял Эрнст II, но Конрад быстро подавил это движение.
Между тем на северо-востоке германским границам грозил польский король Мечислав; чтобы обеспечить спокойствие на севере, Конрад уступил Шлезвиг датскому королю Кануту, но выговорил при этом важные выгоды архиепископу бременскому и гамбургскому. В Италии светские владетели были против немецкого владычества, но архиепископ миланский Ариберт держал сторону императора. Весной 1026 года Конрад явился в Италии, после того как германские князья признали, на случай его смерти, за его малолетним сыном Генрихом право на корону (в феврале 1026 года). Короновавшись в Милане железной короной, он отправился в Рим, где папа Иоанн XIX короновал его императором (26 марта 1027 года). Князья Капуи, Беневенто и Салерно признали его верховенство. Договор в Базеле окончательно утвердил право на Бургундию, по смерти Рудольфа III, за Конрадом и его сыном, который в 1028 году, на сейме в Аахене, формально был выбран в наследники Конрада.
Эрнст II, продолжавший враждебно держаться относительно императора, был лишён Швабского герцогства (1030).
Далее Конраду пришлось вести борьбу с венграми и Польшей. Поход Конрада в Венгрию в 1031 году был неудачным. По мирному договору венгерский король не являлся вассалом императора; до конца нерешенным остался вопрос о спорных территориях. В 1029 году Конрад выступил против Мечислава, который в предыдущем году опустошил Восточную Саксонию. Армия императора понесла большие потери, отказавшись от осады Баутцена и без успеха вернулась назад. Смерть маркграфа Восточной марки Титмара (1030) побудила Мечислава вновь напасть на территорию между Эльбой и Зале. Когда брат Мечислава с русской военной помощью стал оспаривать у него власть, это после двух походов Конрада 1031 и 1032 годов заставило польского короля просить императора о мире, который и был заключен в июле 1033 года в Мерзебурге. Принёся вассальную присягу Конраду, Мечислав отказался от своих королевских регалий и вернул Германии её отдалённую марку. После его смерти (в 1034 году) его супруга Рихенза, внучка Оттона II, вместе со своим сыном Казимиром бежала в Германию.
В сентябре 1032 года умер Рудольф III, и национальная бургундская партия выставила противником Конрада Одона Шампанского, племянника Рудольфа, который подчинил большую часть Бургундии. Конрад, ведя в это время войну в Саксонии, зимой выступил в Петерлинген. Здесь 2 февраля 1033 года Конрад был избран знатью северной Бургундии бургундским королем и коронован. Суровая зима заставила императора совершить обратный марш. В мае 1033 года состоялась встреча Конрада с французским королем Генрихом в Девиле на Маасе. В результате Генрих, очевидно, признал вступление Конрада во владение Бургундией, и оба правителя заключили союз против Одона. Помолвка французского короля с императорской дочерью не состоялась из-за ее смерти в следующем году. Поход Конрада в Лотарингию в середине лета 1033 года заставил Одона покориться. Так как Одона Шампанский не сдержал своего обещания уйти из Бургундии и вновь совершил грабительский набег на Туль, Конрад с сильным войском дошел в 1034 году до Роны, где его встретили граф Гумберт и итальянский отряд под предводительством Ариберта Миланского и графа Бонифация Тусцийского. Одона, уклонившись от столкновения, бежал. Приняв клятву верности от южнобургундских князей, 1 августа 1034 Конрад короновался в Женеве бургундской короной.
В 1035 году Бретислав, овладев чешской короной, признал себя зависимым от Конрада. В 1038 году, по смерти бездетного герцога швабского, Конрад отдал герцогство своему сыну, римскому королю Генриху; по смерти Конрада Младшего он получил Каринтию, владел также Баварией, так что лишь Саксонское и Лотарингское герцогства не были в его руках.
Вследствие стремлений Ариберта к поднятию власти архиепископа миланского, Конрад, в 1036 году явившийся вторично в Италию, велел на сейме в Павии арестовать Ариберта и издал знаменитый закон о ленах, которым была признана их наследственность и неотчуждаемость иначе, как в силу законного приговора пэров, на который допускалась апелляция к императору. Этим Конрад хотел привязать к себе мелкую знать, вавассоров, которые действительно поддерживали его. Милан, в котором вновь явился спасшийся бегством Ариберт, удачно боролся против Конрада. Император отправился в Рим, чтобы утвердить колебавшийся престол папы Бенедикта IX, оттуда прошел в южную Италию, но, вследствие болезни, открывшейся в его армии, вернулся за Альпы. Умер 4 июня 1039 года.
В отношении церкви Конрад держался правила раздавать духовные должности тем лицам, которых хотел наградить и на помощь которых мог надеяться. Он много сделал для установления наследственности власти в своем потомстве.