Родился 8 января 1787 года в Новой Белице Могилёвской губернии (ныне — Новобелицкий район города Гомеля), сын Белицкого городничего, отставного секунд-майора Белорусского гусарского полка, происходил из дворянского рода Лифляндской и Могилёвской губерний и имевшего саксонские корни.
Образование получил в 1-м кадетском корпусе, из которого выпущен в 1804 году корнетом в Елисаветградский гусарский полк.
Принимал участие в войне 1805 года против французов в Австрии, в сражении при Аустерлице получил тяжёлую рану палашом в голову. Затем он участвовал в кампании 1806—1807 годов против французов в Восточной Пруссии. В 1808 году Мердер по состоянию здоровья оставил строевую службу и был переведён дежурным офицером в 1-й кадетский корпус.
При отктытии в Санкт-Петербурге Школы гвардейских подпрапорщиков и кавалерийских юнкеров Мердер получил назначение ротным командиром в эту школу с зачислением в лейб-гвардии Измайловский полк.
В июле 1824 года Мердер получил чин полковника и по выбору великого князя Николая Павловича, с согласия императора Александра I, был назначен воспитателем-наставником наследника цесаревича Александра Николаевича. По свидетельству современников выбор Мердера в качестве воспитателя наследника престола был весьма удачным. Так А. С. Пушкин считал Мердера «Человеком добрым и честным», великая княжна Ольга Николаевна вспоминала: «Он был прирождённый педагог, тактичный и внимательный. Правилом его работы было развить хорошие черты ребёнка и сделать из него честного человека». Также и В. А. Жуковский, который в это время был руководителем учебными занятиями будущего императора Александра II, высоко оценивал Мердера: «Отменно здоровый ум, редкое добродушие и живая чувствительность, соединённые с холодной твёрдостью воли и неизменным спокойствием души, — таковы были отличительные черты его характера. С сими свойствами, дарованными природой, соединял он ясные правила, извлечённые им из опыта жизни, правила, от коих ничто никогда не могло отклонить его в поступках».
Находясь на посту воспитателя и руководителя цесаревича, К. К. Мердер вёл записки, которые были впервые опубликованы в 1885—1886 годах.
При выступлении декабристов Мердер вместе со своим подопечным находился в Аничковом дворце и немедленно доставил наследника под усиленную охрану в Зимний дворец. В тот же день Мердер был пожалован званием флигель-адъютанта.
14 декабря 1828 года Мердер был произведён в генерал-майоры с зачислением в Свиту Его Императорского Величества.
19 декабря 1829 года Мердер за беспорочную выслугу 25 лет в офицерских чинах был награждён орденом св. Георгия 4-й степени (№ 4294 по кавалерскому списку Григоровича—Степанова).
Осенью 1832 года у Мердера обнаружились признаки болезни сердца и он с семьёй выехал на лечение в Берлин. Несмотря на отлучку Мердера из Санкт-Петербурга император Николай I 10 марта 1833 года пожаловал его званием генерал-адъютанта.
Скончался Мердер 24 марта 1834 года в Риме, похоронен в Санкт-Петербурге на Смоленском евангелическом кладбище.
Брат Павел (1797—1873) — генерал от кавалерии, участник Кавказской войны, сенатор.
Дети Карла Карловича Мердера: