Родился 1 мая 1850 года в Виттенберге. Начал коллекционировать марки в 1857 году в возрасте семи лет и собрал значительную коллекцию почтовых марок мира. Уделяя значительное внимание филателистическим исследованиям, судья К. Линденберг стал известным коллекционером и признанным экспертов в области филателии.
На протяжении многих лет, до 23 января 1899 года, был куратором коллекции почтовых марок в Берлинском имперском почтовом музее, каталогизировав все имевшиеся на тот момент в фондах музея почтовые марки.
К. Линденберг сыграл важную роль в разоблачении изготовленных Фурэ (фр. ) подделок немецких цельных вещей и преподнёс в дар Берлинскому почтовому музею конверт с раритетными молдавскими «бычьими головами».
С 1871 года публиковал статьи и монографии по филателии (включая серию монографий о почтовых конвертах немецких государств), издавал журналы и книги. Основал 16 января 1888 года при ресторане Аделунга и Хоффманна (нем. Restaurant von Adelung & Hoffmann, по Лейпцигер-штрассе, 14) Берлинский клуб филателистов, был его первым председателем до 31 декабря 1902 года, а в 19 декабря 1898 года стал его почётным членом.
Карл Линденберг был вынужден оставить пост председателя клуба в связи со своим переводом в 1902 году на должность председателя суда земли (Landgerichtspr?sident ) в прусском городе Ратиборе (ныне Рацибуж). По его возвращении в Берлин в 1908 году клуб филателистов снова избрал его своим председателем, однако Линденберг отказался от оказанной ему чести.
Умер в Вильмерсдорфе 13 июля 1928 года.
В 1905 году по его инициативе и на его средства Берлинским клубом филателистов была учреждена первая и наиболее значимая немецкая филателистическая награда за выдающиеся достижения в области филателистических исследований и вклад в филателистическую литературу, которая получила название «Медаль Линденберга» («Lindenberg Medaille»). Этой награды удостаивались как немецкие, так и зарубежные коллекционеры. Впервые она вручалась 22 января 1906 года, и среди первых награждённых были господин Хаас (Haas) из Лейпцига, Э. Диена из Рима, француз Ж. А. Легран и англичанин Э. Д. Бэкон ().
С 1906 года и до начала Второй мировой войны медалью Линденберга были награждены 30 человек. При этом в период Первой мировой войны, в 1915—1919 годах, медаль не присуждалась. Награждение было полностью приостановлено в 1943 году, и штамп для чеканки медали был утерян. С 1981 года медаль снова вручается, и в числе первых её получил американский филателист Джон Бокер (). 4 февраля 2008 года в Берлине состоялась очередная церемония награждения «Медалью Линденберга», и среди других ей был удостоен Джеймс Ван дер Линден, вице-президент Международной ассоциации филателистических экспертов.
В 1969 году почтовое ведомство Княжества Лихтенштейн выпустило в память о К. Линденберге почтовую марку в серии «Пионеры филателии» (Скотт #449).