Константин Петрович Казаков родился в городе Тула в семье рабочего-оружейника. Окончил Тульское городское училище. Начал свою трудовую деятельность на Тульской литейной фабрике промывщиком литья в 1914 году, а в 1915 году начал работать слесарем на Тульском оружейном заводе.
В 1921 году был направлен на учёбу в Военную объединённую школу имени ВЦИК. В 1923 году было присвоено звание красного командира. С 1923 по 1931 годы служил в частях Московского военного округа в Орле и Белгороде: прошёл путь от командира взвода до командира батареи.
В 1931 году вернулся в училище командиром батареи, окончил вечернее отделение Академии им. М. В. Фрунзе. В 1938 — 1939 годах преподавал во 2-м Московском артиллерийском училище. С августа 1938 года по март 1941 года служил военным советником в Испании и Китае.
Великую Отечественную войну Казаков начал в должности командира 331 гаубичного артиллерийского полка в Житомире. Воевал на Юго-Западном, Западном, Сталинградском, Донском, Воронежском фронтах, в 1942 — 1944 годах был начальником оперативного отдела штаба Главного управления начальника артиллерии Красной Армии. В 1944 — 1945 годах командовал артиллерией 2-й Ударной армии Ленинградского и 2-го Белорусского фронтов. В 1944 году был тяжело ранен. После излечения участвовал в разгроме немецко-фашистских войск на территории Германии. Войну закончил в звании генерал-майора на острове Рюген.
В мае 1945 года К. П. Казаков был назначен командующим артиллерией 1-й Отдельной Особой Краснознамённой армии на Дальнем Востоке. Участвовал в разгроме японской Квантунской армии на Харбинском направлении. После капитуляции Японии в звании генерал-лейтенанта был назначен комендантом Харбина.
В 1948 году К. П. Казаков окончил Высшие академические курсы Военной академии Генерального штаба Вооружённых Сил СССР.
С июня 1948 года по май 1951 года он командовал артиллерией Северной группы войск в Польше, с мая 1951 года по апрель 1953 года артиллерией Приморского военного округа на Дальнем Востоке, с апреля 1953 года по сентябрь 1954 года артиллерией Центральной группы войск в Австрии.
В 1954 — 1958 годах Казаков командовал 1-й Армией противовоздушной обороны особого назначения. Ему было присвоено звание генерал-полковника артиллерии.
В 1958 — 1960 годах Казаков командовал зенитно-реактивными войсками и зенитной артиллерией Противовоздушной обороны СССР. С июля 1960 года по март 1963 года в должности командующего зенитными ракетными войсками и Члена Военного Совета ПВО страны.
Воинское звание маршала артиллерии К.П. Казакову было присвоено 28 апреля 1962 года.
В 1963 — 1969 годах назначен командующим ракетными войсками и артиллерией и Членом Военного Совета Сухопутных войск.
С июля 1969 Казаков был Военным инспектором-советником Группы Генеральных инспекторов Министерства Обороны СССР.