Сын священника Тверской губернии. В 1849 году по окончании Тверской духовной семинарии поступил в Санкт-Петербургскую духовную академию, которую окончил в 1853 году со степенью магистра богословия.
14 марта 1853 года пострижен в монашество, 25 марта — рукоположен во иеродиакона, 6 сентября — во иеромонаха, с назначением исполнять должность смотрителя Кирилловского училища Новгородской епархии.
С 27 июля 1856 года — профессор Санкт-Петербургской духовной семинарии.
С 29 ноября 1857 года — инспектор Новгородской духовной семинарии.
24 декабря 1858 года возведён в сан архимандрита.
С 25 апреля 1861 года — ректор Орловской духовной семинарии и настоятель Петропавловского монастыря.
С 15 июля 1864 года — ректор Каменец-Подольской духовной семинарии и настоятель Свято-Троицкого монастыря.
22 января 1867 года хиротонисан во епископа, викария Балтского; занимал епископскую кафедру в Астрахани, Каменце-Подольске и Владимире. С 1883 года архиепископ; в 1892 году переведён в Новгород, а в 1900 году — в Киев. С 6 мая 1895 года - постоянный член Святейшего Синода.
Во всех местах своего служения умножал и украшал храмы Божии, вводил институт миссионеров, устраивал церковно-исторические древлехранилища и церковно-приходские школы, учреждал просветительные братства. Особенную ревность проявил к возобновлению древних исторических храмов. Владимирский кафедральный собор, разрушавшийся и приходивший в ветхость, стараниями Феогноста был обновлён в его первоначальном виде.
По прибытии в Новгород, Феогност ревностно принял на себя заботы по восстановлению еще более древнего памятника — собора св. Софии.
В Киеве он обратил особенное внимание на обновление церкви Киево-Печерской лавры.