Прославлен в лике святых Русской православной церкви в 2000.
Родился в семье священника, который впоследствии принял монашество и был возведен в сан архимандрита в Саратовском Спасо-Преображенском монастыре. С детских лет был глубоко религиозным человеком.
Среднее образование получил в духовной семинарии, выдержал экзамены на аттестат зрелости при классической гимназии города Ананьева Херсонской губернии. Окончил юридический факультет Новороссийского университета (1886), прошёл также курс математического факультета, слушал лекции и на историко-филологическом факультете университета. Окончил Петербургскую духовную академию (1893) со степенью кандидата богословия.
В 1890 пострижен в монашество, посвящён в сан иеродиакона, а 15 марта 1892 — в сан иеромонаха.
С 1893 — инспектор, с 1898 — ректор Тифлисской духовной семинарии с возведением в сан архимандрита. Тогда же он был назначен членом Грузино-Имеретинской Синодальной конторы и Председателем училищного епархиального совета. Являлся редактором «Духовного вестника Грузинского экзархата». В период его службы ректором семинарии из этого учебного заведения был исключён Иосиф Джугашвили (Сталин).
Своим собственным примером, а также частыми беседами с епархиальным духовенством и особыми циркулярами призывал духовенство к истовому, неспешному и строго-уставному совершению церковного богослужения. Значительное внимание уделял борьбе с сектантством в рамках которой устраивал внебогослужебные пастырские беседы. В Саратове они проводились под руководством епископа во все воскресные и праздничные дни, предварялись кратким молебном, чередовались духовными песнопениями в исполнении архиерейского хора и оканчивались пением всех присутствующих. Для пропаганды православных идей преобразовал и расширил епархиальный печатный орган — «Саратовский духовный вестник» и создал еженедельный «Братский листок», учредил еженедельные печатные органы были учреждены в Балашове, Камышине и Царицыне. За время его служения на Саратовской кафедре было построено свыше пятидесяти храмов, значительно увеличилось количество церковно-приходских школ.
Во время революции 1905 выступал с ярко выраженных антиреволюционных позиций, часто выступал с проповедями, проявив себя как убеждённый и последовательный монархист. Один из организаторов отделения Союза русского народа в Саратове.
Один из самых консервативных русских архиереев начала XX века. Выступал с резкой критикой современных ему тенденций в литературе и театральной жизни. Так, крайне негативно оценил пьесу Леонида Андреева «Анатэма», в своей проповеди призвав губернатора уберечь русское юношество от тёмной и злой силы, направил в Св. Синод ходатайство о запрете этой пьесы. Автор брошюры «Нынешние исследователи анатэмы и его крамолы». Предлагал отлучить от церкви Л. Андреева, Д. С. Мережковского, В. В. Розанова. Отменил назначенную в кафедральном соборе панихиду по знаменитой актрисе В. Ф. Комиссаржевской и запросил Ташкент (где она скончалась во время гастролей от чёрной оспы), чем она болела, была ли православною и когда исповедовалась.
Участвовал в заседании Святейшего Синода, в которым выступил против предлагавшегося московским митрополитом Владимиром и великой княгиней Елизаветой Фёдоровной введения чина диаконисс в православной церкви. Апеллировал в резкой форме по этому вопросу к императору — направил ему телеграмму, в которой утверждал, что Святейший Синод учреждает в Москве «чисто еретическую корпорацию диаконисс, фальшивое подложное учреждение вместо истинного». Также в этой телеграмме критиковал проект введения особого чина заупокойного моления об инославных, заявив, что этим будто бы оказывается «открытое попустительство и самовольное бесчинное снисхождение к противникам Православной Церкви».
3 января 1912 года был уволен императором от присутствия в Синоде; ему было предписано выехать во вверенную ему епархию. Отказался подчиниться этому распоряжению, давал интервью газетам, в которых критиковал членов Синода. В результате 17 января 1912 был уволен от управления епархией и направлен в Жировицкий монастырь.
Его увольнению способствовали ещё два фактора. Во-первых, он поддерживал деятельность черносотенного иеромонаха Илиодора (Труфанова), который первоначально поддерживался церковными и светскими властями, видевшими в нём успешного антиреволюционного пропагандиста. Но затем они дистанцировались от его демагогии (позднее Илиодор снял сан и объявил о разрыве с церковью). Гермоген же остался союзником Илиодора вплоть до сложения им сана. Во-вторых, епископ вступил в конфликт с Григорием Распутиным, которого первоначально поддерживал.
В августе 1915 был переведен в Николо-Угрешский монастырь Московской епархии.
С 8 марта 1917 года — епископ Тобольский и Сибирский; назначен на этот пост как «жертва старого режима». Сохранил монархические убеждения, призывал паству «сохранять верность вере отцов, не преклонять колена перед идолами революции и их современными жрецами, требующими от православных русских людей выветривания, искажения русской народной души космополитизмом, интернационализмом, коммунизмом, открытым безбожием и скотским гнусным развратом». Резко критиковал Декрет об отделении церкви от государства.
Обвинён советскими властями в симпатиях к находившемуся в Тобольске Николаю II (есть данные, что бывший император и епископ простили друг другу прежние обиды), а также в попытках организовать помощь бывшим фронтовикам (большевики расценили это как стремление сорганизовать их в контрреволюционных целях). 15 апреля 1918 в Тобольске прошёл большой крестный ход, после окончания которого епископ был помещён под домашний арест. Затем был отправлен в Екатеринбург, куда прибыл 18 апреля; был заключён в тюрьму, где занимался чтением Нового Завета в переводе Константина Победоносцева и житий святых, молился и пел церковные песнопения.
Тобольский епархиальный съезд направил в Екатеринбург делегацию, которая просила выпустить епископа под залог. В состав делегации входили:
Делегация выплатила установленный залог в размере десяти тысяч рублей (первоначально власти требовали сто тысяч), однако епископ не был освобождён, а члены делегации оказались сами арестованы и вскоре расстреляны.
В июне 1918 епископ и ещё несколько заключённых (священник села Каменского Екатеринбургской епархии Пётр Карелин, бывший жандармский унтер-офицер Николай Князев, гимназист Мстислав Голубев, бывший полицмейстер Екатеринбурга Генрих Рушинский и офицера Ершов) были увезены в Тюмень и доставлены на пароход «Ермак». Все узники, кроме епископа и о. Петра были расстреляны на берегу, близ села Покровское. Владыка Гермоген и о. Пётр погибли несколько позднее. Вначале их заставили работать на строительстве укреплений около Покровского, затем перевели на пароход «Ока», который направился к Тобольску. На пути к этому городу священнослужители были утоплены в реке Туре (см. статью «Хохряков, Павел Данилович»).
Тело епископа Гермогена было обнаружено 3 июля и на следующий день захоронено крестьянами села Усольское. 2 августа 1918 года останки епископа были перезахоронены в склепе, устроенном в Иоанно-Златоустовском приделе Софийско-Успенского собора Тобольска (склеп и мощи новомученика были обнаружены во время ремонта собора в 2005).
23 июня 1998 был прославлен в лике местночтимых святых Тобольской епархии. В августе 2000 Деянием Юбилейного Освященного Архиерейского Собора Русской Православной Церкви его имя было внесено в Собор новомучеников и исповедников Российских для общецерковного почитания. Тем же Деянием к общецерковному почитанию в Соборе новомучеников и исповедников Российских были канонизированы пострадавшие вместе со св. Гермогеном священномученики Ефрем Долганёв, Михаил Макаров и Пётр Карелин и мученик Константин Минятов.