В 1874 году окончил Московское училище живописи, ваяния и зодчества, а в следующем году — Императорскую академию художеств со званием классного художника архитектуры 3-й степени. Некоторое время работал помощником в архитектурной мастерской А. С. Каминского. В 1875—1876 годах работал в Московской дворцовой конторе. С 1882 года К. В. Терский служил чиновником для особых поручений при генерал-губернаторе Москвы. В 1885 году стал архитектором Коммерческого училища, а с 1882 года — архитектором Ксенинского приюта. В 1880-е годы помощником Терского работал начинающий архитектор Ф. О. Шехтель, в 1885—1886 годы — И. С. Кузнецов. В 1892 году получил назначение сверхштатным техником Строительного отдела Московского городского правления. В 1895 году начал служить архитектором Московского удельного округа. В 1901 году Терский был назначен архитектором Московского городского кредитного общества. С 1902 года работал чиновником для особых поручений при министре земледелия и государственных имуществ. Принимал участие в строительстве Морозовского городка в Твери. Похоронен на Ваганьковском кладбище.