Родился 21 мая 1902 года в деревне Новинки ныне Вачского района Нижегородской области. Русский.
В Красной Армии с 1919 года. В 1920 году окончил Тамбовские курсы красных командиров и направлен для прохождения службы в пограничные войска. Участник гражданской войны. Прошёл путь от командира роты до начальника Прибалтийского пограничного округа. Участвовал в Советско-финляндской войне в должности помощника командующего 15-ой армией по охране тыла.
Постановлением Совета Народных Комиссаров Союза ССР от 4 июня 1940 года Ракутину К. И. присвоено воинское звание «генерал-майор».
Участник Великой Отечественной войны с июня 1941 года.
В конце июня 1941 года К. И. Ракутин назначен командующим 31-й армией резерва Ставки ВГК. С июля 1941 года — командующий 24-й армией Резервного фронта. В ходе Ельнинской операции войска армии прорвали оборону врага, разгромили 20-й армейский корпус и 6 сентября освободили город Ельню.
В октябре 1941 года немецкие войска в ходе операции «Тайфун» окружили 4 советские армии, в том числе и 24-ю армию.
Константин Иванович Ракутин погиб при попытке вывести войска из окружения 7 октября 1941 года в районе села Семлёво Смоленской области.
Указом Президента СССР № 114 от 5 мая 1990 года за успешное руководство воинскими соединениями и проявленные при этом личное мужество и героизм Константину Ивановичу Ракутину присвоено Звание Героя Советского Союза (посмертно).
Долгое время судьба командарма оставалась неизвестной. Место гибели Ракутина удалось найти сотрудникам историко-архивного поискового центра «Судьба» ассоциации «Военные мемориалы». В 1996 году останки генерал-майора Ракутина К. И. торжественно перезахоронены на кладбище военно-мемориального комплекса «Снегири».
Именем храброго командарма названа улица в Охотске, а также погранзастава «Охотск» Магаданского погранотряда Камчатского пограничного округа.