Константин Харлампович родился 18 июля 1870 года в селе Рогачи, Брестского уезда Гродненской губернии в семье священника. Образование получал в Виленском духовном училище, которое окончил в 1884 году, Литовской духовной семинарии (1884—1890) и Санкт-Петербургской духовной академии, окончил которую в 1894 году со степенью кандидата богословия. После обучения он переехал в Казань, где в феврале 1895 года устроился преподавателем латинского языка в Казанской духовной семинарии, где преподавал по 1914 год. 20 марта 1899 года Харлампович получил степень магистра. В 1900 году удостоился двух премий — Карповской, Московского общества истории и древн. российских и Уваровской, Академии наук, за магистерскую диссертацию: «Западно-русские православные школы XVI и начала XVII в., отношение их к инославным, религиозное обучение в них и заслуги их в деле защиты православной веры и церкви», защищённую в 1899 году. 14 мая 1900 года стал приват-доцентом, а в 1909 году — профессором Казанского университета по кафедре истории русской церкви. В 1914 году Харлампович защитил докторскую диссертацию, а в 1916 году был признан членом-корреспондентом Петербургской Академии наук.
Харлампович являлся членом Общества археологии, истории и этнографии при Казанском университете, которое советской властью было объявлено «средоточием отсталых и реакционных элементов, миссионеров, шовинистов и националистов». Он участвовал в спасении казанских музейных ценностей, реликвий, архивов от разграбления и уничтожения, за что подвергался преследованию со стороны большевиков, в 1918 году он был условно приговорён к расстрелу. После ухода из Казани белочехов и Комучевцев и установления советской власти были приняты попытки урегулировать музейную и культурную жизнь региона, к работе были привлечены старые специалисты. В 1919 году Харлампович был назначен членом созданного Казанского губернского подотдела по делам музеев и охраны памятников, а затем входил в Музейную комиссию при Академическом центре Татнаркомпроса. В 1919 году стал академиком Украинской Академии наук, и был внештатным сотрудником с 1920 по 1928 год. Весной 1922 года Константина Харламповича избрали председателем ОАИЭ. Он представлял общество на первой Всероссийской конференции научных обществ по изучению местного края в Москве, стал членом-корреспондентом Центрального бюро краеведения при Академии наук. 1 февраля Харлампович стал учёным секретарём Центрального музея ТР, заведовал его научным архивом.
В 1924 году начались репрессии против руководства и членов ОАИЭ. В мае 1924 года Харлампович был снят с должности председателя Музейной комиссии Татнаркомпроса. В сентябре 1924 года было начато официальное следствие Татотделом ОГПУ по делу Харламповича и группы учёных, входивших в Совет ОАИЭ — И. Сатрапинского, С. П. Шестакова, В. Ф. Смолина, С. И. Порфирьева, Н. В. Никольского и И. М. Покровского. Поводом для открытия дела стало поступление «сведений о группировке черносотенного элемента в Обществе археологии, истории и этнографии, противопоставляющей современным требованиям общественности именуемую ими „чистую науку“, в которой преобладали элементы рутины, отсталых идей, для чего использовались легальные возможности».
20 сентября 1924 года Харлампович был арестован, а его квартира была подвергнута обыску (однако никаких улик найти не удалось). Тем не менее, Харламповича признали виновным по четырем статьям УК — 10, 69, 72 и 73, в том числе в «должностных преступлениях», «хранении и распространении контрреволюционной литературы» и в «дискредитировании Советской власти». Он был приговорён к административной высылке за пределы ТАССР на три года. За смягчение наказания ходатайствовали А. В. Луначарский, руководители Российской и Украинской академий наук, но для ОГПУ был важен этот показной процесс в целях устрашения научной общественности. Харлампович был отправлен в Оренбург 1 марта 1925 года, где снова был арестован. 10 июня 1925 года его дело было рассмотрено вторично, и он был выслан в Актюбинск, а затем в Тургай.
После отбытия ссылки ему было запрещено Особым совещанием проживать в Казани и еще шести крупных городах в течение трёх лет. Харламповичу удалось перебраться на Украину, он поселился в Нежине и занимался исследованиями, дописывал свою книгу «Малороссийское влияние на великорусскую церковную жизнь» (которую так и не успел закончить). В 1928 году он был исключён из числа академиков Украинской АН по приказу украинского наркома просвещения Н. А. Скрыпника.
Точная дата смерти его неизвестна, известно лишь, что скончался он в 1932 году. Реабилитирован 4 февраля 2003 года.