Родился в семье крестьян Афанасия Павловича и Анны Ивановны Мерецковых. Был старшим ребёнком. С семи лет помогал отцу пахать и боронить, а с девяти — участвовал во всех полевых работах. Окончил 4-классную земскую начальную школу. В 12 лет отправлен в Москву для самостоятельного труда, работал слесарем на московских заводах. Уже на первом рабочем месте познакомился с рабочими, связанными с революционным подпольем.
Работая в мастерских при «Промышленном училище в память 25-летия царствования императора Александра II» на Миусской площади, посещал в этом училище «Городские Миусские вечерние и воскресные классы для взрослых рабочих». В 1915 году участвовал в рабочих сходках. Перейдя на работу на граммофонную фабрику Турубинера, где выполнялись военные заказы, 18-летний Кирилл получил освобождение от призыва в армию. Россия участвовала в Первой мировой войне.
Тогда же, в 1915 году, познакомился с инженером-химиком и революционером-большевиком Львом Карповым, который направил его в город Судогда Владимирской губернии. Там он провёл почти три года — работал слесарем-механиком на канифольно-скипидарном заводе. Работая там, познакомился с биохимиком Борисом Збарским.
В 1916 году по заданию администрации предприятия поехал в Москву. Там ему предложили более активно вести большевистскую деятельность, отправившись работать Бондюжский химический завод на Каме в с. Бондюги Вятской губернии, директором которого был Карпов. Однако отсрочки от армии там не предоставлялось. Из-за желания иметь эту отсрочку ему пришлось вернуться в Судогду.
Находясь в Судогде, узнал о Февральской революции и падении монархии. Вместе с несколькими другими большевиками образовал самостоятельную ячейку РСДРП, которая с мая 1917 года приобрела официальный статус, став судогодским уездным комитетом РСДРП(б). Двадцатилетний Мерецков был избран секретарём.
В конце года уездный комитет сформировал в городе отряд Красной гвардии, начальником штаба которого назначили Кирилла.
После Октябрьской революции принимал участие в захвате власти в городе. Был назначен председателем военного отдела местного Совета и ответственным по вопросам демобилизации старой армии.
В РККА с 1918 года. Участник Гражданской войны: был комиссаром отряда, помощником начальника штаба бригады и дивизии. Воевал на Восточном, Южном и Западном фронтах. Трижды был тяжело ранен. К. А. Мерецков окончил Военную академию РККА в 1921 году и назначен начальником штаба 1-й Томской кавалерийской дивизии. С февраля 1923 года — помощник начальника штаба 15-го стрелкового корпуса. С ноября 1923 года — начальник штаба 9-й Донской стрелковой дивизии. С июня 1924 по апрель 1932 служил в штабе Московского военного округа: начальник мобилизационного отдела, помощник начальника штаба округа (с ноября 1924), заместитель начальника штаба округа (с июня 1928), командир и военком 14-й стрелковой дивизии (с апреля 1930), начальник штаба округа (с 1931).
С апреля 1932 года — начальник штаба Белорусского военного округа. С декабря 1934 года — начальник штаба Особой Краснознамённой Дальневосточной армии. В 1936—1937 годах находился в Испании в качестве военного советника. С июня 1937 года — заместитель начальника Генерального штаба РККА. С сентября 1938 года — командующий войсками Приволжского военного округа. С января 1939 года — командующий войсками Ленинградского военного округа.
Во время советско-финской войны 1939—1940 годов командовал 7-й армией, наступавшей на Карельском перешейке против главных укреплений линии Маннергейма. В июне 1940 года ему, вместе с Жуковым и Тюленевым, в числе первых присвоено воинское звание «генерал армии». С июня 1940 года — заместитель народного комиссара обороны СССР. В августе 1940 — январе 1941 годов — начальник Генерального штаба РККА, затем заместитель Народного комиссара обороны СССР по боевой подготовке.
На второй день войны, 23 июня 1941 года, К. А. Мерецков был арестован на основании показаний арестованных в 1937—1938 гг. командарма 1-го ранга И. Ф. Федько, армейского комиссара 1-го ранга П. А. Смирнова, флагмана флота 1-го ранга В. М. Орлова, командармов 2-го ранга Н. Д. Каширина и И. А. Халепского, армейских комиссаров 2-го ранга А. С. Булина и М. М. Ланды, комкоров В. Н. Левичева, С. А. Меженинова и С. П. Урицкого, комдивов П. П. Ткалуна, С. И. Венцова-Кранца и Е. С. Казанского, комбригов М. Л. Ткачёва и К. И. Янсона и полковника Б. М. Симонова, а также арестованного накануне генерал-лейтенанта авиации Я. В. Смушкевича; кроме того И. П. Уборевич ранее дал показания, что лично завербовал Мерецкова в антисоветскую военную заговорщическую организацию.
Обвинялся по статье 58, пункты 1 «б», 7, 8, 11 УК РСФСР. Следствие вели Л. Е. Влодзимирский, Л. Л. Шварцман, Б. В. Родос и В. Г. Иванов. Мерецков подвергался «физическим методам воздействия». Сестра Ольги Берггольц Мария Берггольц опубликовала записи своих бесед с бывшими сослуживцами Маршала, один из которых свидетельствовал, что зимой 1941 у Мерецкова был конфликт со следившим за ним сотрудником Особого отдела, которому Кирилл Афанасьевич заявил, что ему жить не хочется и что особисты в НКВД мочились ему на голову. По свидетельству сослуживца О. Ф. Сувенирова генерал-майора А. И. Корнеева, лично присутствовавшего при разговоре И. Х. Баграмяна и С. К. Тимошенко, последний рассказал, что в личной беседе с Мерецковым на его вопрос о том, почему он себя оговорил, Маршал заявил, что над ним издевались, «дубасили», а в случае дачи показаний обещали не трогать семью. На предварительном следствии Мерецков признал себя виновным. В ходе следствия 15 июля 1941 ему была организована очная ставка с А. Д. Локтионовым, на которой Локтионова сильно избивали в присутствии Мерецкова; при этом Мерецков уличал Локтионова в участии в военно-фашистском заговоре и убеждал подписать признательные показания.
28 августа Мерецков написал письмо Сталину с просьбой направить его на фронт. 6 сентября «освобождён на основании указаний директивных органов по соображениям особого порядка». Считается, что Мерецков был освобождён по распоряжению Сталина, что наиболее вероятно, однако документальных подтверждений этому не найдено.
Архивно-следственное дело № 981 697 в отношении Мерецкова уничтожено 25 января 1955 года на основании указания ЦК КПСС и распоряжения председателя КГБ при СМ СССР И. А. Серова, вследствие чего большинство подробностей дела неизвестны.
После этой катастрофы Мерецков был снят с командования фронтом и в мае 1942 года назначен командующим 33-й армии на Западном фронте.
Как писал сам Мерецков, войска Волховского фронта были переданы в подчинение Ленинградского фронта для лучшей координации действий (командующий ЛФ Хозин обещал в этом случае деблокирование Ленинграда). Сам же Мерецков был направлен на Западный фронт заместителем Жукова. На командование 33-й армией пошёл позже сам, на самостоятельную командную должность. Это подтверждает хронология событий. При Мерецкове 2-я ударная армия вклинилась в глубину немецкой обороны, но имела коридор и надёжно снабжалась. 20 марта Власов (с 8 марта заместитель командующего войсками Волховского фронта) отправлен во 2-ю ударную во главе специальной комиссии. По итогам её работы прежний командующий армии 16 апреля снят с должности. 20 апреля Власов назначен новым командующим (с сохранением должности замкомфронта). 23 апреля Волховский фронт преобразован в Волховскую группа войск Ленинградского фронта, командующий М. С. Хозин (Одновременно являлся командующим войсками Ленинградского фронта). Он и не выполнил директивы Ставки от 21 мая об отводе войск 2-й ударной. 6 июня Хозина отстранили от должности и 9 июня на должность командующего войсками Волховского фронта вновь назначили Мерецкова. Был пробит коридор, через который выходили разрозненные группы бойцов. 25 июня противник ликвидировал коридор. Власова приютили местные жители, а потом сдали в плен по идейным соображениям 11 июля.
В январе 1943 года Мерецков отличился в прорыве блокады Ленинграда в ходе Операции «Искра». В январе 1944 года сыграл большую роль в победе в Ленинградско-Новгородской операции.
В феврале 1944 года Волховский фронт был упразднён, а Мерецков назначен командующим войсками Карельского фронта. Во главе его он провёл Свирско-Петрозаводскую операцию и Петсамо-Киркенесскую операцию, нанеся поражения финским и немецким войскам на Северном направлении. Великую Отечественную войну закончил на территории Норвегии. В 1944 году получил звание Маршала Советского Союза и высшие награды Норвегии. Участник Парада Победы в Москве 24 июня 1945 года.
С апреля 1945 года — командующий Приморской группой войск на Дальнем Востоке. С июля 1945 года командовал 1-м Дальневосточным фронтом, который наносил главный удар по японским войскам в Маньчжурии в ходе Советско-японской войны. По итогам войны с Японией награждён орденом «Победа».
После войны Мерецков командовал войсками ряда военных округов: Приморского (с сентября 1945), Московского (с июля 1947), Беломорского (с июня 1949), Северного (с июня 1951). С мая 1954 года — начальник Высших стрелково-тактических курсов усовершенствования командного состава пехоты «Выстрел». В 1955—1964 гг. — помощник Министра обороны СССР по высшим военно-учебным заведениям. Кандидат в члены ЦК КПСС в 1939—1956, член ЦРК КПСС в 1956—1961 гг. Депутат Верховного Совета СССР в 1940—1961 годах.
К. А. Мерецков скончался 30 декабря 1968 года. Урна с прахом Мерецкова захоронена в Кремлёвской стене.