Родился 1 мая 1907 года в деревне Заречье (ныне Новосильского района Орловской области) в крестьянской семье. Русский. Окончил 5 классов, работал на заводе.
В 1943 году гвардии полковник К. М. Карелин командовал 276-м гвардейским лёгким артиллерийским полком (23-я гвардейская лёгкая артиллерийская бригада, 5-я артиллерийская дивизия, 4-й артиллерийский корпус прорыва, 61-я армия, Белорусский фронт).
Отличился во время боёв за расширение плацдарма на правом берегу Днепра в районе села Любечь (ныне посёлок Репкинского района Черниговской области) и деревень Глушец, Старая и Новая Лутава, Красный Рог (Гомельская область). С 15 октября по 2 ноября 1943 года его полк нанёс противнику большой урон в живой силе и технике.
Указом Президиума Верховного Совета СССР от 24 декабря 1943 года «за умелое командование полком, образцовое выполнение боевых заданий командования на фронте борьбы с немецко-фашистским захватчиками и проявленные при этом мужество и героизм» гвардии полковнику Карелину Константину Максимовичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 2990).
После войны продолжал службу в армии. В 1947 году окончил Высшую офицерскую артиллерийскую школу.
С 1956 года полковник К. М. Карелин — в запасе. Проживал в Москве.
Умер 13 января 1994 года. Похоронен в Москве на Щербинском Центральном кладбище (участок 35).