Карл Карлович Людерс родился в 1815 году в Эстляндской губернии. Окончив в 1835 году Институт корпуса инженеров путей сообщения. После окончания института К. К. Людерс начал служить во Второй дирекции окрестных дорог.
4 сентября 1842 года императором был подписан Высочайший указ о подчинении развития телеграфной области Главному управлению путей сообщения и публичных зданий, которое 11 августа 1842 года возглавил П. А. Клейншихель. Одним из его подчинённых стал К. К. Людерс. В это время в Российской империи проводились опыты по созданию телеграфных линий электромагнитного телеграфа. Академик Б. С. Якоби вместе со своими учениками продолжал развивать идеи Г. Л. Шиллинга, умершего в 1837 году. В музее хранятся многие письма, посвящённые проводимым экспериментам. Их авторами, кроме Б. С. Якоби были штабс-капитан Гетшель и барон Ф. Я . Именно им в июле 1848 года Б. С. Якоби передал дела. Перед инженер-полковником К. К. Людерсом, Гетшелем и Ф. Я. Герватом была поставлена задача создания телеграфной линии вдоль Московской железной дороги. Срок окончания работ совпадал с введением в эксплуатацию железнодорожной линии между Санкт-Петербургом и Москвой.
В 1849 году К. К. Людерс и Гетшель стажировались в Германии. В Берлине К. К. Людерс сумел установить деловые контакты с Вернером фон Сименсом, результатом которых стала покупка четыре телеграфных аппарата у фирмы «Siemens & Halske AG» для того, чтобы испытать их в Российской империи. Для проведения опытов на строящейся телеграфной линии Санкт-Петербург-Москва также было приобретено 30 вёрст изолированного гуттаперчей телеграфного провода, который по распоряжению П. А. Клейнмихеля проложили под землёй на участке железной дороги от Москвы до Колпино (22,5 вёрст). Работами руководил К. К. Людерс. 2 августа 1850 года он доложил П. А. Клейнмихелю об успешном окончании испытаний — телеграфная связь между Москвой и Колпино была установлена.
В 1858 году К. К. Людерс стал заместителем директора телеграфов Людвига Гетгардта в чине полковника, а с 1860 года — в чине генерал-майора. 4 ноября 1866 года телеграфное ведомство возглавил К. К. Людерс.
За то время, когда К. К. Людерс был директором Телеграфного департамента в Российской империи телеграфная связь развивалась как в западной части страны, так и в восточной. В 1869 году было завершено строительство Амурcкой телеграфной линии длиной 1780 вёрст, в 1870 году — телеграфной линии до Хабаровска; построена телеграфная линия, которая связала Россиию со странами Скандинавии и др.
С 1872 года К. К. Людерс организовывает Телеграфный музей. Первая экспозиция музея была открыта в 1877 году на Почтамской улице в доме № 17.
В 1875 году Карла Карловича Людерс единогласно избрали почётным членом Петербургской академии наук.
К. К. Людерс умер 15 августа 1882 года, находясь на лечении в Австрии. Его тело перевезли в Санкт-Петербург и похоронили на Волковом кладбище.