Родился в Царском Селе в семье академика Я. К. Грота и писательницы Наталии Петровны Семёновой (1824—1899), уроженки Рязанской губернии, дочери героя войны 1812 года писателя-драматурга и пародиста Петра Никиколаевича Семёнова (1791 ?1832) и сестры известных деятелей и писателей Николая Петровича Семёнова и Петра Петровича Семёнова-Тян-Шанского.
Брат Николая Грота, известного философа.
Учился в частной Петербургской гимназии д-ра Видемана (до 1867 г.), а затем в Ларинской классической гимназии, где окончил курс в 1873 г. с золотой медалью. Поступив на историко-филологический факультет СПб. Университета, избрал своею специальностью славистику. Интересуясь историей, посещал лекции И. И. Срезневского, курсы В. И. Ламанского и В. Г. Васильевского. В 1876 г. окончил курс со степенью кандидата, быв удостоен в феврале этого года золотой медали за сочинение на конкурсную тему «Разбор свидетельств Константина Багрянородного о южных славянах», в которой старается выяснить степень достоверности свидетельств о поселении сербов и хорватов на Балканском полуострове, критикует скептицизм славянских ученых Рачкого и Дринова.
Оставленный при университете для приготовления к профессорскому званию по кафедре славянской филологии (у проф. Ламанского), он в том же 1876 году совершил первую летнюю частную поездку в Чехию и Моравию; со своими впечатлениями о славянском движении в том же году впервые выступил в печати. В следующие годы он продолжал свою ученую подготовку, занимаясь вместе с тем преподаванием русского языка и литературы в двух частных женских учебных заведениях. Проведя часть зимы 1878—1879 г.г. у своего брата профессора философии в Нежине в историко-филологическом институте кн. Безбородко, сблизился с известными профессорами-славистами — А. С. Будиловичем и Р. Ф. Брандтом. К весне 1879 г. успел приготовиться к магистерским экзаменам, которые и сдал у профессоров Срезневского, Ламанского и А. Н. Веселовского (по всеобщей литературе). Работая над своей магистерской диссертацией из области средневековой истории западного славянства, он в то же время обработал и напечатал в «Записках Императорского Географического Общества» свою медальную работу об «Известиях Константина Багрянородного о сербах и хорватах и их расселении на Балканском полуострове», вышедшую и отдельным изданием (1880 г.).
В следующем 1881 г. он окончил, напечатал и защитил в СПб. Университете свою магистерскую диссертацию «Моравия и мадьяры с половины IX до начала X в.», в которой исследовал вопрос о переселении мадьяр из первоначальной родины в Дунайскую равнину и о последствиях этого события для дунайского (особенно Моравии) и вообще всего западного славянства. Рассмотривая подробно внешнеполитическое и внутреннее состояние объединившегося в Велико-Моравском княжестве дунайского славянства и силу немецкого на него напора, пришел к выводу, несогласному с господствовавшим у чехов (Палацкий) взглядом о безусловно гибельно-роковом значении вторжения, и поселения мадьяр в Среднедунайской равнине для всего западного славянства; признавая великие бедствия, причиненные славянам дунайским мадьярским погромом, он проводит мысль, что в вековой борьбе славян с немцами мадьяры, создав на основах славянского быта свою державу, сыграли роль оплота для западного славянства против грозно наступательного движения (Drang nach Osten) германизма. Взгляд этот впоследствии получил значительное распространение к признание.
В 1882 г. Грот получил ученую командировку и провел большую часть года в Праге, Вене и Будапеште, занимаясь изучением исторических памятников, а также вспомогательными науками — теоретически и практически: дипломатикой и латинской палеографией под руководством проф. Эмлера в Праге и профессоров Зикеля и Мюлленбахера в Вене, в Историческом Институте при Венском Университете, которому посвятил особую статью в Журн. Министерства Нар. Просвещения. Кроме того, посетил в том же году Новый Сад, Белград, Загреб, Триест и Любляну, где работал в местных архивах и библиотеках.
Весной 1883 года Константин Яковлевич получил одновременно два приглашения занять славянскую кафедру: от Новороссийского Университета (через посредство проф. А. А. Кочубинского) и от Варшавского (через проф. Будиловича), где тогда освободилась кафедра со смертью В. В. Макушева. По многим соображениям (особенно в виду большей близости к Петербургу и к границе) Грот предпочел Варшаву, и в том же 1883 г. был утвержден экстраординарным профессором. Осенью 1883 г. К. Я. начал там свою профессорскую деятельность. В Варшаве славистика по местному университетскому уставу имела несколько представителей, кроме доцентуры по славянским наречиям (курс практический Ф. И. Езбера) было еще три профессора — слависта. Ф. О. Первольф читал славянскую этнографию и древности, проф. Вержбовский — историю польской литературы, а на долю Грота, как заместителя Макушева, оставалась история славян и история прочих литератур славянских. К славистике еще примыкали специально русско-славянские лингвистические курсы проф. А. С. Будиловича, одного из представителей русской кафедры. По смерти проф. Первольфа (1891) К. Я. взял на себя еще курс славянских древностей, предоставив этнографию и часть историко-литературных курсов преемнику Первольфа П. А. Кулаковскому. Рядом с лекциями шли и практические занятия со студентами-славистами (чтение литературных памятников), а сверх того К. Я. вел одно время и семинарий на старших курсах, на которых были распределены и его чтения.
Собственные специальные его занятия в период варшавской профессуры (1883-99) вращались все в той же области западно- и южно-славянской истории, и главным образом в области истории Венгрии и старых угро-славянских отношений. Весной 1885 г. он получил новую заграничную командировку на год (что совпало с его женитьбой).
Посетив летом Англию (Лондон и Оксфорд) и поработав в Британском Музее (о чем написал статью "Славянские рукописи Брит. Музея и славистика в Англии), Грот большую часть года провел в Праге и Будапеште, работая в библиотеках и архивах и подготовил материалы для своей докторской диссертации. К ее разработке он приступил по возвращении в Варшаву осенью 1886 г., а через два года приступил к ее печатанию и осенью 1889 г. представил ее в С. Петербургский Университет на суд профессоров Ламанского и Васильевского. Этот труд под заглавием «Из истории Угрии и славянства в XII в. (1147 ?1173)», после защиты его в С.Петербургском университете, доставил ему степень доктора славянской филологии, а вскоре затем и звание ординарного профессора в Варшаве. В этом исследовании путем подробного разбора и оценки внутренних событий и внешних отношений Угрии в XII в. к западному, гл. обр. германскому миру, к Византии и славянству, опровергает господствовавшее воззрение на характер «византийского влияния» в истории Угрии к определяет его как эпоху сильнейшего отпора внешнему завоевательному натиску Византии и постепенной уступки влияниям западным: латинству, папству и германизму. Угрия приобретает в это время характер западно-славянской державы. Этот труд Константина Яковлевича, быв представлен в Академию Наук на соискание Уваровской премии, был удостоен, на основании оценки академ. В. Г. Васильевского, половинной премии в 1891 г. В конце того же года скончался проф. Ф. О. Первольф, не успев кончить своего большого труда «Славяне, их взаимные отношения и связи». Приготовленная к печати, хоть и не совсем отделанная и законченная, 2-я часть вышла уже в 1893 г. под редакцией К. Я. Грота.
В мае 1893 г. скончался отец К. Я. академик Я. К. Грот. Его деятельность скоро сосредотачивается в новой для него научной области — разработки и обнародования ученого наследия и важнейших материалов из архива его отца. Занялся разбором бумаг и архива отца, изданием полного собрания его трудов и его литературной переписки, совместно с его другом П. А. Плетневым. Президент Академии Наук предложил поручить это дело сыну покойного К. Я. Гроту, а особые средства на издание назначил незадолго до своей кончины император Александр III, всегда сердечно относившийся к наставникам своего детства. .
По решению Президента Академии К. Я. была дана осенью 1894 г. годичная научная командировка в Петербург, впоследствии, продолженная еще на год, до осени 1896 г. К. Я. за это время издал кроме книжки с биографическими материалами о своем отце, — три больших тома «Переписка Я. К. Грота с П. А. Плетневым», снабженных его историко-литературными примечаниями, а также начал подготовку к изданию полного собрания трудов Я. К. Грота.
С осени 1896 года Константин Яковлевич, вернувшись в Варшаву, возобновил профессорскую деятельность и продолжал её до весны 1899 года. За эти три года варшавского профессорства К. Я. Грот издал два первых тома «Трудов Я. К. Грота» (I. «Из скандинавского и финского мира», II. «Филологические разыскания»), новое дополненное издание книжки «Пушкин, его лицейские товарищи и наставники» к пушкинскому юбилею 1899 г., в дни которого он устроил в Варшавском университете небольшую пушкинскую выставку из пушкинских и лицейских автографов, документов, портретов, рисунков и реликвий собрания «Puschkiniana» своего отца; одновременно он продолжал еще заниматься в области своей ученой специальности — славистики. По предложению Академии Наук (то есть ее II-го Отделения), он написал подробный критический отзыв о представленной на соискание премии имени А. А. Котляревского книги профес. Ясинского «Падение земского строя в чешском государстве», и получил за свой отзыв от Академии установленную золотую медаль имени Котляревского.
В 1899 году по завершении 20-тилетия профессорской службы, вышел в отставку. Переселившись осенью 1899 г. в Петербург, К. Я. Грот продолжил издание «Трудов» своего отца и публикацию материалов его архива. В течение следующих трех лет им составлены и изданы три новые тома собрания сочинений Я. К. Грота, а именно: III. «Очерки из истории русской литературы» (1901), IV. «Из Русской Истории» (1901) и V. «Деятельность литературная, педагогическая и общественная» (1903). В эти же и последующие годы им опубликован в исторических журналах и изданиях Академии Наук ряд новых историко-литературных и биографических материалов, касающихся писателей первой половины ХIX в., а именно И. И. Дмитриева, Н. М. Карамзина, В. А. Жуковского, Н. В. Гоголя, П. А. Плетнева, И. И. Козлова, Ф И. Глинки, кн. П. А. Вяземского, Е. А. Баратынского, А. П. Буниной, А. П. Зонтаг и друг.
Пробыв в отставке менее 2-х лет, Конст. Яковл. весной 1901 г. вновь был причислен к Министерству Народного Просвещения и в этом качестве в течение нескольких лет подряд был назначаем Министром в Председатели Комиссий по государственным испытаниям в университеты Харьковский и Московский. Кроме того занимался постановкой славяноведения в русской школе и развитию славянского самосознания в русском обществе, посвятил этим вопросам были многие свои статьи. В 1904 г. по случаю 50-летнего юбилея своего старого учителя — профессора акад. В. И. Ламанского, был издан под редакцией и при участии К. Я. юбилейный «Новый сборник статей по славяноведению учеников В. И. Ламанского» (1905). Позже К. Я. принимал участие в созванном в Петербурге предварительном съезде русских славистов.
В марте 1905 г. К. Я. Грот получил новое назначение заведующим Общим Архивом Министерства Двора. Его научная деятельность и интересы в связи с архивными занятиями в управляемом им учреждении и у себя на дому теперь еще более сосредоточились на области русской истории и литературного развития эпохи первых десятилетий XIХ в., к которой относились и издававшиеся при Архиве исторические памятники.
Рядом с исполнением текущих служебных обязанностей и с заботами о благоустройстве вверенного ему Архива, к нему перешло редактирование Архивного издания, «Камер-фурьерского журнала», то есть придворных церемониальных журналов (при соблюдении столетней давности, то есть в данное время печатались журналы первого десятилетия XIX в.), как важного исторического источника. За годы его управления Архивом (до 1917 г.) издано около 40 томов этого журнала с объяснительными «Приложениями» — выписками из дел Архива — за 12 лет (с 1806 по 1818 г.) и «Алфавитный указатель» за старые годы (1695—1774).
Одновременно Грот не оставлял своих работ по изданию литературных и биографических материалов из бумаг, собранных его отцом и из его семейного архива, а также из дел вверенного ему Архива. Кроме ряда небольших историко-литературных публикаций, им были изданы в период с 1900 до 1915 г. следующие труды и книги: «Из семейной хроники. Воспоминания для детей и внуков» Наталии Грот (то есть матери его) СПб. 1900 г., «По поводу школьной реформы»; составленный им сборник в память его брата — философа (ум. в 1899 г.) "Н. Я. Грот в очерках, воспоминаниях и письмах товарищей и учеников, друзей и почитателей " (СПб. 1911), и еще ранее вышедший под его редакцией сборник статей Н. Я. Грота «Философия и ее общие задачи» (СПб. 1904).
С 1904 по 1909 годы был председателем издательского отделения «Общества ревнителей исторического просвещения». За эти годы по его почину и под его редакцией Общество издало несколько очерков и книг, между прочим: «Галицкая Русь прежде и ныне» (1907), «Св. Кирилл и Мефодий и культурная роль их в Славянстве и России», «Славянство и мир будущего», Люд. Штура (перев. Ламанского, 2-е изд.) СПб, 1909. В следующие годы К. Я. стал членом комитета по изданию исторического сборника «Старина и Новизна», где поместил ряд своих статей и материалов.
Из историко-литературных тем (первой четверти XIX в) К. Я. особенно привлекало изучение лицейского периода творчества Пушкина, биографий его наставников и товарищей и вообще царскосельская лицейская старина в связи с изучением лицейского собрания рукописей, бумаг и документов I-го курса, унаследованного им от отца.
В своих статьях «Из Лицейской Старины» («И. И. Пущин» и "Е. А. Энгельгардт "), « К Лицейским стихотворениям Пушкина», «Празднование лицейских годовщин при Пушкине и после него» и др. он использовал часть своих материалов. Но к исчерпывающему описанию и опубликованию своего лицейского архива, К. Я. имел возможность приступить лишь в начале 1911 г. Ввиду предстоявшего 100-летнего юбилея Лицея и благодаря содействию Лицейского Пушкинского Общества и II-го Отделения Академии Наук он составил и издал к 19 октября этого года свой труд «Пушкинский лицей. Бумаги I курса, собранные акад. Я. К. Гротом, с разными иллюстрациями, приложениями и некоторыми бумагами III и IV курсов Лицея» СПб 1911.
В 1912 г. К. Я. Грот приступил к разработке и изданию биографических и историко-литературных материалов связанных с деятельностию его отца, имеющих общий исторический и общественный интерес. Как начало таких публикаций, в декабре 1912 г. ко дню чествования Академией Наук 100-летней годовщины рождения академика Я. К. Грота (15 декабря) изданы два выпуска «Материалов к жизнеописанию» его, а именно: очерк «Предки, семья и детство», и, «Хронологический обзор его жизни и деятельности». Вскоре затем в 1915 г., по случаю 100-летней годовщины рождения его дяди, известного государственного деятеля К. К. Грота, вышел I том посвященного памяти К. К. Грота издания — «К. К. Грот как государственный и общественный деятель», в котором им помещены два очерка. Позднее изданы были три тома (I, III и IV) «Мемуаров» его дяди (по матери) Петра Петровича Семенова-Тян-Шанского («Эпоха крестьянской реформы» и «Семейная хроника»).
Несколько лет после революции К. Я. Грот управлял вверенным ему Архивом, но затем должен был — вследствие изменения в положении отдельных архивов и реорганизации всего Главархива — оставить свой пост, а затем и службу (с 1923 г.), тем более, что и силы его по преклонному возрасту стали убывать.
После отставки ограничился домашней кабинетной работой, главным образом над его личным семейным архивным материалом. Им подготовлены ряд статей и очерков, между прочим, литературно-биографический очерк о П. Н. Семенове, писателе-драматурге и современнике Пушкина, «В. Н. Семенов, литератор и цензор» (из литературной истории 30-х годов XIX в.), «Братья Н. А. и П. А. Лавровские (к 100-летней годовщине их рождения)», «Пушкин в царскосельском лицее летом 1831 г.», «К истории творчества Крылова». Часть из этих работ послужила предметом докладов К. Я. Грота в «Пушкинском Доме» и «Славянской Комиссии».
Много статей Грота по славяноведению разбросаны в «Ж. М. Н. Пр.», «Изв. славянского благотв. общ.», «Зап. Имп. русск. геогр. общ.», «Русск. филологич. вестнике», «Варшав. унив. изв.», «Варш. дневнике» и др. изданиях.
Его труды неоднократно печатались в журнале «Русский филологический вестник».
Похоронен на Новодевичьем кладбище Санкт-Петербурга.