Конрад был единственным сыном императора Священной Римской империи Фридриха II Гогенштауфена и его второй жены Иоланты (Изабеллы) Иерусалимской, которая умерла при его рождении; от неё Конрад унаследовал право на трон Иерусалима.
После низложения старшего брата Генриха был избран и коронован римским королём (1237); управлял в отсутствие отца Германией. С 1240 года Конрад активно начал вмешиваться в имперскую политику и агитировать князей в поддержкe своего отца. Когда Иннокентий IV, на Лионском соборе в 1246 году, объявил Фридриха низложенным, Конрад боролся с ландграфом тюрингенским Генрихом Распе, которого сторонники провозгласили императором.
Генрих разбил Конрада IV в 1246 году под Франкфуртом, но заболел при осаде Ульма и умер 16 февраля 1247 года. Тогда Конраду IV пришлось бороться с выбранным на его место Вильгельмом Голландским, который после смерти Фридриха II, разбил Конрада IV в битве при Оппенгейме в 1251 году.
В начале 1252 года Конрад IV явился в Италию, подчинил Капую, взял и сурово наказал Неаполь (1253) и утвердился на юге полуострова. Папа Иннокентий IV воздвиг против него формальное обвинение в ереси и отлучил его от церкви.
В подготовке к походу в Верхнюю Италию Конрад IV умер от малярии в военном лагере около Лавелло 21 мая 1254 года.
Сердце и его внутренности похоронили в Мельфи. Тело Конрада было отвезено в кафедральный собор Мессины, но молния ударила в собор, и установленное для прощания тело короля сгорело ещё перед захоронением.
1 сентября 1246 года Конрад IV женился на своей четвероюродной сестре — Елизавете Виттельсбах (1227 — 9 октября 1273). Она была дочерью пфальцграфа и герцога Баварского Оттона II Сиятельного (7 апреля 1206 — 29 ноября 1253) и Агнессы (1201 — 1267) — двоюродной тётки императора Фридриха II.
Позже Елизавета вышла замуж за Мейнхарда II (1238 — 1 декабря 1295), графа Горицы (1257 — 1271), графа Тироля (с 1257 года), герцога Каринтии и Крайны (c 1286 года).
От этого брака родился единственный ребёнок — сын, вошедший в историю под именем Конрадина (25 марта 1252 — 29 октября 1268), король Иерусалима (как Конрад III) (1254 — 1268), король Сицилии (как Конрад II) (1254 — 1258), герцог Швабии (как Конрад IV) (1254 — 1268).