Родился в семье причетника. Обучался в Калужской семинарии, в 1858 году поступил в Московскую духовную академию, которую окончил в 1862 году со степенью кандидата богословия. В период обучения 29 августа 1861 года принял монашеский постриг. 21 июня 1862 года были хиротонисан во иерея, а 28 сентября того же года получил степень магистра богословия. Преподавал в Московской духовной академии на кафедре церковной археологии, а затем общей церковной истории.
27 октября 1868 года был возведён в сан архимандрита. 5 июля 1870 года был хиротонисан во епископа на новообразованную Алеутскую и Аляскинскую епархию с центром в городе Ситка (в 1872 году кафедра была перенесена в Сан-Франциско). Провёл на кафедре 7 лет. В 1877 году вернулся в Москву и 12 апреля был назначен членом Московской Синодальной конторы. 26 марта 1881 года епископ Иоанн был назначен настоятелем московского Симонова монастыря.
12 августа 1889 года назначен епископом Аксайским, викарием Донской епархии. 9 апреля 1910 года по собственному прошению уволен на покой и назначен управляющим Астраханским Покрово-Болдинским монастырём. В 1913 году был освобождён от управления монастырём. Скончался 2 мая 1914 года.
Почетный член Казанской (с 1897 года) и Московской (с 1902 года) духовных академий.
Главные труды епископа Иоанна: