С 1788 года — префект Троице-Сергиевой духовной семинарии, а с 1792 года — ректор той же семинарии.
С 23 июля 1795 года — ректор Московской духовной академии.
В 1798 году возведён в сан архимандрита и назначен настоятелем Заиконоспасского, а затем Донского монастыря.
29 июня 1801 года хиротонисан во епископа Архангельского и Холмогорского.
С 16 апреля 1809 года — епископ Калужский и Боровский.
Епископ Евлампий был пастырь известный своим благочестием. Несмотря на постоянную болезненность, он очень часть совершал богослужения, в которых находил единственное облегчение своей болезни. Он служил с великим умилением и слезами, особенно в момент призывания на Дары всеосвящающей благодати Святого Духа.
Скончался 22 мая 1813 года. Погребен под алтарем Троицкого кафедрального собора Калуги.
Во время войны Наполеона притив России в 1812 году храмы по распоряжению епископа Евлампия стояли отворёнными, богослужение в них не прекращалось, ежедневно совершалось соборное молебствие при крестном ходе из всех церквей.
По изгнании Наполеона преосвященный Евлампий не ограничился делами только своей епархии, а принял усердное попечение о собрании духовенства, о возобновлении и освящении оскверненных церквей оставленной без пастыря Смоленской епархии.
Здоровье его, и без того слабое, ещё более расстроилось в годину испытаний.
Кончина архипастыря открыла его нестяжательность. У него не нашлось даже суммы на погребение, так как он все, что имел, раздал нуждавшимся и разоренным во время неприятельского нашествия. Калужские граждане похоронили любимого владыку за свой счёт.