Сын чешского короля Иоанна Слепого из Люксембургской династии и княжны Элишки Пржемысловны, родился в 1316 в Праге, воспитывался в Париже. В 15-летнем возрасте (1331) был назначен наместником в созданном его отцом королевстве в Северной Италии и столкнулся там с сопротивлением и интригами. В 18 лет (1334) стал наместником отца в Чехии. Вследствие изгнания его брата Иоганна из Тироля и временного управления Карлом этой страной, на которую имел виды Баварский дом, возник глубокий раздор между Виттельсбахами и Люксембургами, поведший к ряду войн.
С именем Карла связан «золотой век» Чехии. Он хорошо знал чешский язык, заботился о развитии городов и много внимания уделял сельскому хозяйству. Карл ввез в Чехию виноградную лозу из Бургундии и сливовые деревья из Лотарингии, устроил водоемы для разведения рыб: так появились знаменитые чешские карпы.
Карл остался в истории как автор первой в средневековой Европе светской автобиографии и инициатор составления новой исторической хроники.
Ещё при жизни императора Людвига IV Баварского, Карл, с помощью папы Климента VI, добился избрания пятью курфюрстами германским королём. При этом он пошел на подписание ограничительных условий, в исполнении которых принуждён был принести клятву папе в Авиньоне. Тем не менее, после смерти императора (1347) Карлу не удалось сразу взойти на имперский трон. По почину Виттельсбахов был избран королём Эдуард III английский, когда же тот отказался — маркграф мейсенский Фридрих II Суровый, затем граф Гюнтер фон Шварцбург, который вскоре тяжело заболел, согласился отречься за деньги, и умер. 25 июля 1349 Карл IV повторно короновался в Аахене. С Виттельсбахами Карл IV примирился женитьбой на Анне, дочери курфюрста пфальцского, и обещанием водворения их в Бранденбурге где он сам, тем временем, покровительствовал Лже-Вальдемару.
Карл IV пошел на большие уступки князьям. В Золотой булле 1356 года курфюрсты получили почти суверенные права в своих княжествах. Упорядочение избрания на престол устранило вмешательство папы при выборах, что вызвало разлад с авиньонским двором. Конфликт с папой был улажен дарованием десятины и изданием так называемой каролинской буллы для защиты льгот духовенства.
Значительной заслугой Карла IV стало учреждение союзов земского мира.
Два раза Карл IV совершал походы в Италию: в 1354 году, чтобы короноваться в Милане королём и в Риме императором (1355), во второй раз — в интересах папы, для войны с миланскими Висконти. Но о развитии своего наследственного владения, Чехии, Карл заботился более, чем об империи.
Посланный Карлом в качестве пленника в Авиньон, Кола ди Риенцо примирился с Иннокентием VI, и вернулся в Италию осенью 1353 года как представитель понтифика, чтобы сотрудничать с испанским кардиналом, но смог лишь обрести позорную смерть на ступенях Капитолия. Гиббон писал об этом: «Капитолий стоял теперь на крови Риенцы, когда Карл IV спустился с Альп, чтобы короноваться короной Италии и Империи».
Петрарка верил в Карла IV, но затем глубоко в нем разочаровался. Карл был коронован в Риме кардиналом Остии в пасхальный день 1355 года, а затем вернулся в Прагу, как писал поэт: «с короной, которую он получил без единого удара меча, с кошелем, полным монет, который он привез пустым; но с малой славой за добрые дела, и с великим позором за унижение императорского величия. О! если б твой прадед и дед встретили тебя на альпийском перевале, чтоб они сказали, ты подумал? Император римлян по имени, по правде ты всего лишь король богемский».
Дворянству в городах он дал много льгот; в 1350 году издал новое уложение, которое, однако, позже принуждён был отменить, поощрял горнозаводство и земледелие, сделал Влтаву до Эльбы судоходной, построил в Праге «новый город» (Новое место), Градчаны, и знаменитый пражский Карлов мост, основал там архиепископию и в 1348 году первый в империи университет (по образцу парижского), привлёк в Прагу большое количество художников и ремесленников.
Через первую свою жену, с согласия Виттельсбахов, обеспечил себе большую часть Верхнего Пфальца; через вторую жену, Анну Яворскую, приобрёл княжества Явор и Свидница (1368); годом раньше он купил Лужицкую землю. Искусно воспользовавшись раздорами в доме Виттельсбахов, Карл сумел добиться завещания себе бранденбургской марки маркграфами Людовиком и Оттоном (1368), а вскоре после того (1373) оставшийся один в живых Оттон, за вознаграждение, должен был отказаться от марки.
За большие суммы денег и после долгих усилий Карл IV добился избрания своего сына Вацлава своим преемником (1376). Большие расходы Карла IV заставляли его облагать тяжёлыми налогами и закладывать имперские города, что повело к основанию швабского городского союза (1376). Умирая в Праге, Карл оставил Чехию, Силезию и римскую корону Вацлаву, Бранденбург — Сигизмунду, Лужицкие земли — Иоганну, третьему из своих сыновей.