Кроме того, Тертий Филиппов был известен как публицист, православный богослов и собиратель русского песенного фольклора.
Сын аптекаря, Тертий Филиппов окончил Тверскую гимназию, учился в тверском духовном училище, затем (в 1848 году) окончил историко-филологический факультет Московского университета в звании кандидата.
С 1848 по 1856 Тертий Филиппов преподавал русскую словесность в 1-й Московской гимназии; сблизился с кружком славянофилов. Принимал участие в издании славянофильских журналов «Москвитянин», «Московский сборник» и «Русская беседа»; его статьи были в основном посвящены истории Русской церкви допетровского периода. Его идея: Соборы и патриаршество делали Церковь живой действенной духовной силой, обеспечивающей симфонию властей.
В 1856 году в жизни Тертия Филиппова наступил довольно резкий поворот. По линии Морского министерства он был направлен в командировку на Дон и Азовское море для исследования быта, нравов и обычаев местного населения. Глубокое знание греческого языка, богословских наук и церковного права определило для Филиппова возможность новой карьеры, обратив на него внимание обер-прокурора Святейшего Синода А.П.Толстого. По возвращении он получил назначение чиновником особых поручений при Святейшем Синоде, преимущественно для занятия делами, касающимися восточных православных Церквей и преобразований, проходивших в духовно-учебных заведениях России. В апреле 1860 года Тертий Филиппов был назначен делопроизводителем «Комитета о преобразовании духовно-учебных заведений».
В 1864 году в его карьере наступила последняя перемена: он перешёл на службу в Государственный контроль, где и оставался до самого конца своей жизни; спустя четырнадцать лет службы, в 1878 году он занял место второго человека в ведомстве. С самого момента назначения на пост Государственного контролёра Дмитрия Сольского, Филиппов почти двенадцать лет бессменно занимал место товарища государственного контролёра, а после того, как в 1889 году Солького разбил апоплексический удар, занял место Государственного контролёра. Назначение Филиппова, впрочем, произошло совсем не просто, и случилось после глухой, но довольно упорной борьбы в правящих кругах. Категорически против назначения Филиппова, например, выступал Константин Победоносцев и его неудача стала для многих свидетельством резкого падения влияния ещё недавно всемогущего обер-прокурора Святейшего Синода.
Характеризуя Тертия Филиппова на посту министра, С.Ю.Витте в своих мемуарах писал:
Несмотря на то, что Сергей Витте считал Филиппова недостаточно компетентным в делах контроля, под его руководством ведомство время от времени пресекало злоупотребления различных должностных лиц. Наиболее известен был случай с отстранением в конце 1894 года с поста министра путей сообщения Аполлона Кривошеина. Кроме того, во время руководства Тертия Филиппова и сфера ведомственных полномочий Государственного контроля понемногу продолжала возрастать. Также при Тертии Филиппове была улучшена отчётность об исполнении государственной росписи, а также издано «Положение о порядке хранения и уничтожения отчётности, проверяемой Государственным контролем».
Собиратель народных песен и певец-любитель, Тертий Филиппов создал из своих подчинённых Государственного контроля прекрасный хор, исполнявший в основном народные песни. Композитор Александр Оленин, присутствовавший на пении чиновников в служебном кабинете Филиппова, вспоминал, что и сам Филиппов «...старческим, едва слышным голосом, но изумительно просто и проникновенно спел какую-то песню».
Используя своё высокое служебное положение, Филиппов нередко включал в штат государственного контроля бедствующих композиторов и других музыкантов. После его смерти не раз говорили о нём, как о добром человеке, «облагодетельствовавшем жалованьем чиновника не один десяток русских музыкантов».
Ещё до назначения на пост Государственного контролёра Тертий Филиппов принимал активное участие в деятельности Русского географического общества (РГО), в основном по собиранию русских народных песен («песенных напевов»). В 1884 году по его инициативе при отделе этнографии РГО была создана (под его председательством) Песенная комиссия.
Долгие годы Тертий Филиппов дружил с Константином Леонтьевым, которого высоко почитал и ценил. Также он поддерживал переписку с лицами, занимавшими Вселенский Патриарший престол во второй половине XIX века.
Тертий Иванович Филиппов скончался 30 ноября 1899 года и был похоронен в Исидоровской церкви Александро-Невской Лавры в Петербурге. После смерти Филиппова в ноябре 1899 года государственным контролёром был назначен консервативно настроенный генерал П.Л.Лобко, в прошлом преподававший цесаревичу Николаю Александровичу основы военного управления.
Печатался в различных изданиях консервативно-националистической ориентации, в частности в «Русском вестнике» М.Н. Каткова, в «Гражданине» кн. В.П. Мещерского (редактор-издатель с января 1873 года — Ф. Достоевкий), был одним из основателей журнала «Русская беседа».
Владея греческим языком и имея репутацию знатока творений Отцов Церкви, слыл авторитетом в церковных вопросах и конфликтах своего времени, например, в греко-болгарском вопросе. В последнем, наряду с Константином Леонтьевым, критиковал проболгарскую позицию правительства; полемизировал с Иваном Троицким. С сожалением высказывался в 1870 году об отказе российского Святейшего Синода от предложения Вселенского Патриарха Григория VI созвать вселенский собор для разрешения болгарского вопроса (12 декабря 1868 года Патриарх направил обширное послание с изложением обстоятельств распри и своими предложениями предстоятелям автокефальных Церквей) и побуждал правительство принять 2-е послание Патриарха с тем же предложением, отмечая, что для суждения Собора есть ряд иных вопросов, требующих общецерковного разрешения, например, снятие клятв на раскольников Московских соборов 1666 и 1667 годов (в которых участвовали и восточные иерархи).
Занимался проблемами «раскола», выступая в защиту староверов, за полную отмену всех существующих для них ограничений.
Собирал русские народные песни; расшифровывал «крюковую» нотную запись старинных песен, популяризировал песенный фольклор среди образованных сословий общества. Став членом Русского Географического общества, Филиппов создал в 1884 году при нём специальную песенную комиссию для снаряжения экспедиций с целью собирания народных песен. Поощрял чиновников Государственного контроля, выезжавших в разные местности для ревизий, собирать народные песни. Образовал из подчиненных чиновников хор при домовой церкви Государственного контроля, исполнявший церковные, народные и современные песни. Покровительствовал русскому народному оркестру В.В.Андреева .
Отличался эксцентричным поведением и причудами. Например, встречаясь с кавалерами ордена св. Георгия, в качестве приветствия целовал орден на их груди (или на шее), повергая кавалеров в смущение .