Второй сын великого князя Константина Николаевича и великой княгини Александры Иосифовны, внук Николая I. При крещении пожалован орденами Св. Апостола Андрея Первозванного, Св. Александра Невского и Св. Анны 1-й степени, назначен шефом Тифлисского гренадерского полка и зачислен в списки лейб-гвардии Конного и Измайловского полков, лейб-гвардии батарейной № 5 батареи 3-й Гвардейской и гренадерской артиллерийской бригады (1-я батарея лейб-гвардии 3-й артиллерийской бригады) и Гвардейского экипажа. В 1859 году зачислен в списки лейб-гвардии 4-го стрелкового Императорской Фамилии батальона. В 1865 году произведён в прапорщики и пожалован орденами Белого Орла и Св. Станислава 1-й степени.
Получил разностороннее домашнее образование. В его обучении и воспитании принимали участие известные историки С. М. Соловьев, К. И. Бестужев-Рюмин, музыкальный критик Г. А. Ларош, виолончелист И. И. Зейферт, писатели И. А. Гончаров и Ф. М. Достоевский. С детства великого князя готовили к службе на флоте. В 7 лет его воспитателем был назначен капитан 1-го ранга И. А. Зеленой, состоявший в этой должности до совершеннолетия великого князя. Занятия велись по программе Морского училища. В 1874 и 1876 годах гардемарином совершил дальнее плавание в Атлантический океан и Средиземное море на фрегате «Светлана». В августе 1876 года сдал экзамен по программе Морского училища и был произведён в чин мичмана.
Участник Русско-турецкой войны 1877—1878 годов. 17 октября 1877 года награждён орденом Св. Георгия 4 степени:
В мае 1878 года произведён в лейтенанты флота. В августе 1878 года назначен флигель-адъютантом. В январе—сентябре 1880 года командовал ротой Гвардейского экипажа. В сентябре 1880 года назначен вахтенным начальником на корабль «Герцог Эдинбургский», на котором до января 1882 года находился в плавании по Средиземному морю.
В 1882 году по болезни переведён в сухопутное ведомство и в августе произведён в штабс-капитаны гвардии. До конца 1883 года находился в заграничном отпуске, во время которого познакомился со своей будущей женой. В декабре 1883 года назначен командиром роты Его Величества лейб-гвардии Измайловского полка. В 1887 году произведён в капитаны гвардии, а 23 апреля 1891 года — в полковники и назначен командующим лейб-гвардии Преображенским полком. В 1894 году произведён в генерал-майоры, с утверждением в должности командира полка. В 1898 году назначен в Свиту Его Величества.
4 марта 1900 года назначен Главным начальником Военно-учебных заведений (с 13 марта 1910 года — генерал-инспектор Военно-учебных заведений). Под руководством великого князя была произведена большая работа по развитию и улучшению обучения в военно-учебных заведениях. В январе 1901 года произведён в генерал-лейтенанты и назначен генерал-адъютантом. В 1907 году произведён в генералы от инфантерии. 2 марта 1911 года назначен присутствующим в Правительствующем сенате (с оставлением в остальных должностях). В 1913 году за заслуги по службе награждён орденом Св. Владимира 1-й степени (4-я степень — 1883 г., 3-я степень — 1896 г., 2-я степень — 1903 г.).
Состоял также шефом 2-го батальона лейб-гвардии 4-го стрелкового Императорской Фамилии полка, в списках лейб-гвардии Преображенского полка, Павловского военного и Константиновского артиллерийского училищ, Пажеского корпуса и Оренбургского казачьего войска. Почётный член Николаевской инженерной академии (с 1904 г.), Императорской военно-медицинской академии и Михайловской артиллерийской академии.
В 1887 году великому князю Константину Константиновичу было присвоено звание почётного члена Императорской Академии наук, а в 1889 году был назначен её Президентом («августейший президент»). По его инициативе при Отделении русского языка и словесности был учреждён Разряд изящной словесности, по которому в почётные академики избирались известные писатели — П. Д. Боборыкин (1900), И. А. Бунин (1909), В. Г. Короленко (1900), А. В. Сухово-Кобылин (1902), А. П. Чехов (1900) и другие. Возглавлял комитет по празднованию 100-летия со дня рождения А. С. Пушкина. При содействии великого князя было открыто новое здание Зоологического музея в Санкт-Петербурге.
В 1889 году избран почётным попечителем Педагогических курсов при петербургских женских гимназиях. Состоял председателем Императорского Русского археологического общества (с 1892 г.), Императорского общества любителей естествознания, антропологии и этнографии, Императорского Российского общества спасания на водах, Императорского Православного Палестинского общества и Санкт-Петербургского яхт-клуба. Действительный член Императорского общества поощрения художеств, Императорского Русского музыкального общества. Почётный член Русского астрономического общества, Русского исторического общества, Русского общества Красного Креста, Русского общества содействия торговому судоходству.
Лето 1914 года Константин Константинович с женой и младшими детьми проводили в Германии, на родине жены, где их застало начало Первой мировой войны; были задержаны и выдворены за пределы Германии. Новое тяжелейшее потрясение великий князь испытал осенью 1914 года с гибелью сына, князя Олега. Эти испытания подорвали и без того некрепкое здоровье великого князя.
Великий князь Константин Константинович скончался 2 июня 1915 года, в своём кабинете во дворце в г. Павловске и был отпет в дворцовой церкви. Он был последним из Романовых, умершим до революции и погребённым в великокняжеской усыпальнице Петропавловской крепости.
В 1884 году женился на принцессе Елизавете Августе Марии Агнесе, второй дочери принца Саксен-Альтенбургского, герцога Саксонского Морица (русское имя Елизавета Маврикиевна; православия не принимала). В браке родилось девять детей:
Дневниковые записи великого князя, переданные им в архив Российской академии наук с условием опубликования не ранее, чем через 90 лет после его смерти (опубликованы в 1994 году), содержат свидетельства о его гомосексуальных наклонностях и контактах.
Генерал А. Ф. Редигер (военный министр в 1905—1909) в своих воспоминаниях (1917—1918) писал о великом князе:
Был известным русским поэтом, автором нескольких сборников. Первые стихотворные произведения были опубликованы в журнале «Вестник Европы» в 1882. Первый сборник, включавший стихотворения 1879—1885 годов, вышел в 1886. В 1888 издал первую поэму «Севастиан-мученик», затем сборники «Новые стихотворения К. Р.», «Третий сборник стихотворений К. Р.» (1900), «Стихотворения К. Р.» (1901).
С великим князем вели переписку И. А. Гончаров, Я. П. Полонский, А. А. Фет, ценивший его вкус и даже поручавший ему исправлять свои стихи.
Принадлежал к так называемой старой школе, был продолжателем классических традиций. Первоклассным талантом поэт К. Р. не обладал, но занял своё место в истории русской литературы. Многие его стихотворения отличались мелодичностью и были положены на музыку (самое известное — романс «Растворил я окно…» с музыкой П. И. Чайковского, сочинившего музыку также на «Я сначала тебя не любила…», «Вот миновала разлука» и другие стихотворения К. Р.). Сам написал несколько романсов на стихи В. Гюго, А. К. Толстого, А. Н. Майкова.
К. Р. перевёл на русский язык трагедию Ф. Шиллера «Мессинская невеста», трагедию И. В. Гёте, шекспировского «Короля Генриха IV». Автор удачного перевода шекспировского «Гамлета» на русский язык, над которым работал с 1889 по 1898 год; перевод с обширными комментарими в 3-х томах был издан в 1899 и неоднократно переиздавался.
Пьесу К. Р. на евангельский сюжет «Царь Иудейский» и авторские примечания к ней М. А. Булгаков использовал как материал для романа «Мастер и Маргарита».