Сын Владислава II Ягайло и Софьи Гольшанской, был провозглашён в Вильне великим князем литовским в 1440 году. После поражения польского и венгерского войска под Варной 10 ноября 1444 года и гибели старшего брата Казимира, короля польского Владислава III, за которой последовало трёхлетнее междуцарствие, Казимир был выбран в короли польские. По внушению литовцев он долго не соглашался принять корону, но, видя, что поляки готовы избрать другого, уступил желанию поляков, невольно изменив интересам Литвы (1447). Положение Казимира было затруднительное. Как бывший литовский князь, он не мог сразу стать врагом Литвы и её самостоятельности; как польский король, он должен был сделаться врагом её. Политическому такту Казимира нужно приписать, что дело не дошло до кровопролития.
Немало беспокойств причинял Казимиру Тевтонский орден. Пользуясь ослаблением могущества рыцарей, подчинённые им прусские города требовали автономии; рыцари не уступали; тогда эти города отдались под власть Польши. Казимир IV втянулся в войну с орденом, продолжительную, ведённую с переменным успехом и окончившуюся Торуньским миром (1466), по которому за орденом осталась западная часть Пруссии, а Поморское, Холмское, Мальборгское воеводства, княжество Вармия и ещё некоторые города отошли к Польше.
В 1449 году Казимир заключил мирный договор с великим князем Московским Василием II, включавший в себя условия взаимного признания границ великих княжеств Литовского и Московского, отказ Казимира от претензий на Новгород и отказ обеих сторон от помощи внутриполитическим противникам другой стороны. Несмотря на существование в Новгороде сильной пролитовской партии, Казимир так и не оказал прямого противодействия московским военным акциям 1456, 1471 и 1478 годов в отношении Новгорода, приведших к вхождению новгородских земель в состав Московского государства.
В 1458 году в Киеве была образована митрополия, независимая от московской митрополии, не признавшей Флорентийскую унию 1439 года. Несмотря на имеющиеся противоречия, Казимир и Василий II не вступали в открытую борьбу, и в духовной грамоте Василия II (умер в 1462 году) фигурирует фраза «А приказываю свою княгиню, и своего сына Ивана, и Юрья, и свои меншие дети брату своему, королю польскому и великому князю литовскому Казимиру», аналогичная фразе в духовной грамоте его отца «А приказываю сына своего, князя Василья, и свою княгиню, и свои дети своему брату и тестю, великому князю Витовту».
Утвердившийся в 1468 году в Большой Орде союзник Казимира хан Ахмат проводил курс на объединение под своей властью ханств, на которые распалась Золотая Орда, и на восстановление реальной зависимости Северо-Восточной Руси от Орды. При этом он сталкивался с противодействием крымского хана Менгли I Гирея и великого князя Московского Ивана III, которые со временем (особенно после временного захвата Крыма Ахматом в 1476—1478 годах и возвращения Менгли Гирея в Крым в качестве вассала Османской империи) стали стратегическими союзниками. Во время стояния на Угре в 1480 году Казимир не поддержал Ахмата против Москвы во многом благодаря набегу крымских татар на Подолье, и Ахмат во время своего отступления в степь разорил владения Казимира в бассейне верхней Оки. Затем Казимиру удалось подавить мятеж своих родственников и тем самым разрушить план Ивана III по распространению влияния Московского княжества на киевские земли. Однако почти сразу после этого в 1482 году Менгли Гирей разорил Киев и в знак общей победы отослал Ивану III потир и дискос из Софийского собора. В 1487 году, в результате перехода верховских князей на службу к Ивану III началась Пограничная война с Великим княжеством Московским.
У Казимира были широкие планы тесного сплочения с Польшей Литвы, Пруссии, даже Чехии, Венгрии и Валахии; его занимала идея единой сильной королевской власти, реформа церкви, городов и пр., но обстоятельства были неблагоприятны для него. Созывались всевозможные съезды под председательством короля для рассуждения о важнейших делах государства, но выигрывала только шляхта, до того усилившаяся, что Казимиру приходилось с ней торговаться: проигрывали паны, высшее духовенство и города. Краковский университет при Казимире играл видную роль в Европе; к этому времени относится творчество многих известных польских писателей. Латинский язык стал при Казимире IV общераспространённым в Польше.
Казимир был женат на Элжбете (Елизавете), дочери императора Священной Римской империи Альбрехта II. Имел шестерых сыновей:
Имел также семеро дочерей, из которых 5 вышло замуж за правителей стран западной Европы: