К. П. Жуков родился 28 сентября 1906 года в местечке Городище Киевской губернии (ныне Черкасской области Украины). После окончания в 1926 году Луганского сельскохозяйственного института работал в Луганской (Ворошиловградской) и Донецкой (Сталинской) областях агрономом, а затем заведующим сельскохозяйственными отделами. Член ВКП (б) с 1936 года.
В 1944 году перведён на партийную работу: в 1944—1946 годах — секретарь Сталинского обкома КП (б) Украины, 1946—1947 годах — инспектор управления кадров ЦК ВКП (б). В 1947 году назначен секретарём, а в 1949 году избран первым секретарём Воронежского обкома ВКП (б). В январе 1954 года направлен во вновь образованную Липецкую область и избран первым секретарём Липецкого областного комитета КПСС, проработав на этой должности (фактически высшей в области) до ноября 1960 года.
К. П. Жуков неоднократно избирался депутатом Верховного Совета СССР. В 1952—1956 — член ЦК КПСС, в 1956—1961 — кандидат в члены ЦК КПСС.
Умер в 1988 году в Москве.