Родился 21 февраля (6 марта) 1914 год в семье оркестровых музыкантов, в шесть лет начал обучаться игре на фортепиано, затем занимался также теорией музыки у Н. С. Жиляева, который оказал огромное влияние на его творческое развитие.
В 1931 году Кондрашин поступил в МГК имени П. И. Чайковского в класс оперно-симфонического дирижирования к Б. Э. Хайкину. Три года спустя он получил место помощника дирижёра Музыкальной студии МХТ под руководством Владимира Немировича-Данченко, где впервые встал за пульт 25 октября 1934 года.
Окончив консерваторию в 1936 году, Кондрашин стал дирижёром Малого театра в Ленинграде, где под его управлением состоялись представления опер А. Ф. Пащенко «Помпадуры», Дж. Пуччини «Девушка с Запада», М. М. Черёмухина «Калинка» и др. На первом Всесоюзном конкурсе дирижёров в 1938 году Кондрашин получил почётный диплом, а музыкальная критика отметила его высокое мастерство.
В 1943 году Кондрашин получает приглашение в Большой театр, только что вернувшийся из эвакуации из Куйбышева. Молодой дирижёр знакомится с С. А. Самосудом, А. М. Пазовским, Н. С. Головановым, которые помогли ему расширить музыкальный кругозор и усовершенствовать мастерство управления оперным оркестром. Под управлением Кондрашина было поставлено несколько новых опер, в это время он также часто выступает с ведущими оркестрами страны, исполняя сочинения Н. Я. Мясковского, С. С. Прокофьева, Д. Д. Шостаковича, Рахманинова, П. И. Чайковского, Ф. Листа и Р. Вагнера. В 1948 и 1949 годах он получает Сталинскую премию первой и второй степени, соответственно.
Покинув Большой театр в 1956 году, Кондрашин начал карьеру гастролирующего дирижёра, заслужив репутацию блестящего аккомпаниатора: с оркестрами под его управлением выступали Д. Ф. Ойстрах, С. Т. Рихтер, М. Л. Ростропович, Э. Г. Гилельс, Л. Б. Коган и другие выдающиеся музыканты. На Первом конкурсе имени П. И. Чайковского в 1958 с оркестром под управлением Кондрашина на третьем туре и на гала-концерте играл Ван Клиберн, и в том же году Кондрашин впервые посетил с гастролями США и Великобританию.
В 1960—1975 годах Кондрашин возглавлял Симфонический оркестр Московской филармонии. Этот период считается самым плодотворным в карьере дирижёра. Под его управлением оркестр Московской филармонии выдвинулся в число ведущих музыкальных коллективов страны.
В декабре 1978 года после очередного концерта в Нидерландах Кондрашин принял решение не возвращаться в СССР. Вскоре он получил место главного приглашённого дирижёра оркестра Концертгебау в Амстердаме, а в 1981 году должен был возглавить Симфонический оркестр Баварского радио, однако скоропостижно умер от инфаркта.
Кондрашин — один из крупнейших дирижёров XX века. По его собственным словам, он стремился, подобно дирижёрам прошлых лет, выработать собственное уникальное и неповторимое звучание оркестра. За время работы с оркестром Московской филармонии он исполнил многие сочинения классических и современных авторов, в том числе цикл из всех симфоний Г. Малера, а также произведения Б. Бартока, П. Хиндемита, А. И. Хачатуряна, М. С. Вайнберга, Г. В. Свиридова, Б. А. Чайковского (Б. А. Чайковский посвятил К. П. Кондрашину свою Вторую Симфонию) и многих других композиторов. Кондрашин — первый дирижёр, исполнивший цикл из всех пятнадцати симфоний Д. Д. Шостаковича, при этом Четвёртая (не исполнявшаяся со времени своего написания — 1936) и Тринадцатая симфонии были исполнены в 1962 году впервые.
Среди осуществлённых записей — произведения И. Брамса (все симфонии; концерт для скрипки с оркестром с Д. Ф. Ойстрахом), М. Вайнберга (симфонии № 4—6), А. Дворжака (концерт для скрипки с оркестром с Ойстрахом), Г. Малера (симфонии № 1, 3—7, 9), С. С. Прокофьева («Кантата в XX-летию Октября», «Ала и Лолий»), М. Равеля («Испанская рапсодия», «Вальс»), С. В. Рахманинова («Колокола», «Симфонические танцы», концерт № 3 для фортепиано с оркестром с Ваном Клиберном), Н. А. Римского-Корсакова («Снегурочка», концерт для фортепиано с оркестром с С. Т. Рихтером), А. Н. Скрябина (1 часть «Предварительного действа» в редакции А. П. Немтина — первая запись), П. И. Чайковского (симфонии № 1, 4, 5, 6, концерт № 1 для фортепиано с Ваном Клиберном), Д. Д. Шостаковича (все симфонии, «Октябрь», «Казнь Степана Разина», «Над родиной нашей Солнце сияет», концерт № 2 для скрипки с оркестром с Ойстрахом) и др.
Звучание оркестра под управлением Кондрашина отличалось уравновешенностью текстуры звучания, чётким контролем над динамикой, теплотой и единством тембра. Некоторые из своих мыслей и методов работы с оркестром Кондрашин отразил в книге «О дирижёрском искусстве», вышедшей в печать в 1972 году.