Карл Филер был сыном баптистского проповедника и в 1902 году переехал с родителями в Мюнхен. Там он посещал реальную школу и изучал торговое дело, затем с 1914 года работал торговым агентом в Шлезвиг-Гольштейне.
С мая 1915 года пошёл солдатом на фронты Первой мировой войны. Служил во вспомогательных войсках в Шлезвиг-Гольштейне, лейтенант резерва (май 1917 года). В 1918 году получил травму ноги. За боевые отличия награждён Железным крестом 2-го класса.
В марте 1919 года Филер поступил на административную службу в городское управление Мюнхена в качестве ассистента в центр по распределению продовольственных карточек. В феврале 1922 года, после успешной сдачи экзаменационных испытаний для чиновников государственной и муниципальной службы среднего уровня, он стал служащим. Подававшиеся им ранее заявления на поступление на госслужбу (в частности, в июле 1921 года) постоянно отклонялись. Один из первых членов нацистской партии (имел партбилет № 37). 6 ноября 1923 года стал членом входивших в состав СА «Шлосструппен Адольф Гитлер» (нем. "Sto?trupps Hitler"), из которых впоследствии сформировались подразделения СС. Принимал активное участие в Пивном путче 8-9 ноября 1923 года. 28 апреля 1924 года за государственную измену мюнхенский суд приговорил его к 15 месяцам тюрьмы и к штрафу в размере 30 золотых марок. Срок отбывал в той же тюрьме крепости города Ландсберг-на-Лехе, что и Адольф Гитлер.
С 8 декабря 1924 года по 20 марта 1933 года являлся членом муниципалитета и почётным городским советником Мюнхена.
В 1929 году Филер изложил принципы нацистской местной политики в своей брошюре «Национал-социалистическая Муниципальная политика» (нем. "Nationalsozialistische Gemeindepolitik"), напечатанной в Мюнхене в центральном издательстве НСДАП «Франц-Эхер-Ферлаг». В 1930-е годы Филер опубликовал ещё несколько работ по проблемам местной политической жизни в Германии с нацистских позиций. С 1927 по 1930 года являлся руководителем местной партийной организации НСДАП в Мюнхене (орстгруппенлейтер НСДАП). В 1930—1945 годах Филер являлся руководителем Главного управления муниципальной политики НСДАП (нем. Hauptamt f?r Kommunalpolitik). Это управление занималось воспитанием членов созданного нацистами Союза германских общин в национал-социалистическом духе, развитием общинного самоуправления, консультированием и обслуживанием нацистов по муниципально-политическим вопросам.
Вскоре после прихода нацистов к власти 20 марта 1933 года Филер был назначен первым бургомистром Мюнхена, а 20 мая 1933 года — обер-бургомистром Мюнхена, хотя в то время такой должности в Мюнхене не существовало. В 1933 году «Немецкую ассоциацию городов» (нем. "Deutscher St?dtetag") нацисты вынудили объединиться с другими муниципальными организациями для формирования «Немецкой ассоциации местных органов власти» (нем. "Deutscher Gemeindetag"). В мае 1933 года Карл Филер был назначен председателем Германского совета этой объединённой организации. 2 августа 1935 года по распоряжению Адольфа Гитлера Мюнхен получил новый громкий эпитет: «Столица Движения» (нем. "Hauptstadt der Bewegung"). Этот «титул» должен был напоминать немцам о том, что Мюнхен — колыбель нацистского движения.
2 июня 1933 года Карл Филер как начальник Главного управления по вопросам муниципальной политики (нем. "Leiter des Hauptamtes f?r Kommunalpolitik") был возведён в ранг рейхсляйтера (нем. "Reichsleiter") и оставался им до конца войны. 31 июля 1933 года К. Филер вступил в СС (членский билет номер 91 724) и как почётный член этой организации очень быстро стал повышаться в эсэсовских чинах. Наконец, 30 января 1942 года он был возведён в обергруппенфюреры СС и сразу же зачислен в «Штаб рейхсфюрера СС» Генриха Гиммлера. Помимо всего прочего, с 1933 по 1945 год Карл Филер состоял депутатом нацистского рейхстага от Магдебурга.
В конце войны, незадолго до вступления американских войск в Мюнхен (30 апреля 1945 года), Филер бежал из города. Впоследствии был арестован и в январе 1949 года приговорён к 2 годам трудовых лагерей и конфискации одной пятой части имущества. Карл Филер скончался 8 декабря 1969 года в деревне Диссен у озера Аммерзее у подножия Баварских Альп.