Родился около 1530 года. Происхождение Гермогена остаётся предметом споров. Есть мнения, что он из рода Шуйских, либо из Голицыных, либо незнатного происхождения. Возможно, он происходил из Донских казаков. Ещё подростком ушёл в Казань и поступил в Спасо-Преображенский монастырь, где его религиозные взгляды укрепились. Первые достоверные известия о Гермогене относятся ко времени его служения священником в Казани в конце 1570-х годов. В 1580-х годах был священником в Казани при Гостинодворской церкви святителя Николая Чудотворца. По отзывам современников, священник Ермолай уже тогда был «муж зело премудростью украшенный, в книжном учении изящный и в чистоте жития известный». В 1579 году совершилось явление чудотворной Казанской иконы Божией Матери. Будучи ещё священником, он, с благословения тогдашнего Казанского архиерея Иеремии, переносил новоявленную икону с места обретения в церковь, где служил священником. В 1587 году, после смерти жены, имя которой история не сохранила, постригся в монахи в Чудовом монастыре в Москве.
13 мая 1589 года хиротонисан во епископа и стал первым Казанским митрополитом. 9 января 1592 года святитель Ермоген направил Патриарху Иову письмо, в котором сообщал, что в Казани не совершается особое поминовение православных воинов, жизнь положивших за веру и Отечество под Казанью, и просил установить определенный день памяти воинов. Одновременно он сообщал о трех мучениках, пострадавших в Казани за веру Христову, из которых один был русский, по имени Иоанн, плененный татарами, а двое других, Стефан и Пётр, новообращенные татары. Святитель просил разрешения вписать их в синодик, читавшийся в Неделю Православия, и петь им вечную память. В ответ Патриарх прислал указ от 25 февраля, который предписывал «по всем православным воинам, убитым под Казанью и в пределах казанских, совершать в Казани и по всей Казанской митрополии панихиду в субботний день после Покрова Пресвятой Богородицы и вписать их в большой синодик, читаемый в Неделю Православия». Повелевалось вписать в тот же синодик и трех мучеников казанских, а день их памяти поручалось определить святителю Ермогену. Святитель объявил патриарший указ по своей епархии, добавив, чтобы по всем церквам и монастырям служили литургии и панихиды по трем казанским мученикам и поминали их на литиях и на литургиях 24 января среднею памятью. Святитель Ермоген сохранял твёрдость в вопросах веры, активно занимался христианизацией татар и других народов бывшего Казанского ханства. Практиковалась и такая мера: новокрещёные народы переселяли в русские слободы, изолируя от общения с мусульманами. В сентябре 1592 года участвовал в перенесении мощей Казанского архиепископа Германа (Садырева-Полева) из Москвы в свияжский Успенский монастырь.
Около 1594 года в Казани на месте явления Казанской иконы был сооружён каменный храм; тогда им была составлена «Повесть и чюдеса Пречистыя Богородицы, честнаго и славнаго Ея явления образа, иже в Казани». В октябре 1595 года участвовал в открытии мощей святителей Гурия и Варсонофия, обретённых в ходе перестройки собора в казанском Спасо-Преображенском монастыре, и составил их первое краткое житие.
Митрополита Гермогена хорошо знали в Москве. Присутствовал он во время избрания на царство Бориса Годунова; участвовал во всенародном молении при Борисе под Новодевичьим монастырем. В 1595 г. он ездил в Углич для открытия мощей удельного Угличского князя Романа Владимировича. Лжедмитрий включил его в состав Боярской думы как известного и влиятельного человека. Но там Гермоген показал себя противником Лжедмитрия: выступил против избрания патриархом Игнатия и потребовал православного крещения Марины Мнишек. Лжедмитрий приказал исключить его из Думы и сослать в Казань. Приказ выполнить не успели в связи с убийством Лжедмитрия.
3 июля 1606 года в Москве Собором русских иерархов святитель Гермоген был поставлен Патриархом Московским. Оставался сторонником Василия Шуйского, поддерживал его в подавлении восстания южных городов, отчаянно противился его свержению.
Был ярым противником семибоярщины, несмотря ни на что, пытался организовать выборы нового царя из русского рода (первым предложил эту должность Михаилу Романову). Скрепя сердце, согласился признать русским царём Владислава Сигизмундовича при условии его православного крещения и вывода польских войск из России. После отказа поляков от выполнения этих условий, стал писать воззвания к Русскому народу, призывая его на борьбу. С декабря 1610 года Патриарх, находясь в заключении, рассылал по городам грамоты с призывом к борьбе с польской интервенцией. Благословил оба ополчения, призванные освободить Москву от поляков. Грамоты, рассылавшиеся Патриархом по городам и селам, возбуждали русский народ к освобождению Москвы от врагов. Москвичи подняли восстание, в ответ на которое поляки подожгли город, а сами укрылись в Кремле. Совместно с некоторыми предателями из бояр они насильно свели святого Патриарха Ермогена с Патриаршего престола и заключили в Чудовом монастыре под стражу. В Светлый понедельник 1611 года русское ополчение подошло к Москве и начало осаду Кремля, продолжавшуюся несколько месяцев. Осажденные в Кремле поляки не раз посылали к Патриарху послов с требованием, чтобы он приказал русским ополченцам отойти от города, угрожая при этом ему смертной казнью. Святитель твердо отвечал:
Уже из заточения Ермоген обратился с последним посланием к русскому народу, благословляя освободительную войну против завоевателей.
17 февраля 1612 года, не дождавшись освобождения Москвы, умер от голода.
Отзывы современников свидетельствуют о Патриархе Гермогене как человеке выдающегося ума и начитанности: «Государь велика разума и смысла и мудра ума», «чуден зело и многаго разсуждения», «зело премудростию украшен и в книжном учении изящен», «о Божественных словесех присно упражняется и вся книги Ветхаго Закона и Новыя Благодати, и уставы церковныя и правила законныя до конца извыче». Святитель Ермоген много занимался в монастырских библиотеках, прежде всего в богатейшей библиотеке Московского Чудова монастыря, где выписывал из древних рукописей ценнейшие исторические сведения, положенные в основу летописных записей. В XVII веке «Воскресенскую летопись» называют летописцем Святейшего Патриарха Ермогена. В сочинениях Предстоятеля Русской Церкви и его архипастырских грамотах постоянно встречаются ссылки на Священное Писание и примеры, взятые из истории, что свидетельствует о глубоком знании Слова Божия и начитанности в церковной письменности того времени. Церковная деятельность характеризовалась внимательным и строгим отношением к богослужению.
При нём были изданы: Евангелие, Минеи месячные за сентябрь (1607), октябрь (1609), ноябрь (1610) и первые двадцать дней декабря, а также напечатан «Большой Верховный Устав» в 1610 году. Патриарх тщательно наблюдал за исправностью текстов. По его благословению с греческого на русский язык была переведена служба святому апостолу Андрею Первозванному (память 30 ноября) и восстановлено празднование памяти в Успенском соборе. Под наблюдением первосвятителя были сделаны новые станки для печатания богослужебных книг и построено новое здание типографии, пострадавшее во время пожара 1611 года, когда Москва была подожжена поляками.
Заботясь о соблюдении благочиния, Гермоген составил «Послание наказательно ко всем людям, паче же священником и диаконом о исправлении церковного пения». «Послание» обличает священнослужителей в неуставном совершении церковных служб: многогласии, а мирян — в неблагоговейном отношении к богослужению.
Среди его сочинений: Сказание о Казанской иконе Божией Матери и служба этой иконе (1594), послание Патриарху Иову, содержащее сведения о казанских мучениках (1591), сборник, в котором рассматриваются вопросы богослужения (1598), патриотические грамоты и воззвания, обращенные к русскому народу (1606—1613). Патриарх писал к мятежникам:
В 1652 году его останки, по повелению Патриарха Московского Никона перенесены из ветхой гробницы в Чудовом монастыре в Большой Успенский собор. Его мощи в деревянной гробнице, обитой фиолетовым бархатом, были поставлены в юго-западном углу Успенского собора, где они пребывают и ныне.
Прославлен в лике святых в воскресенье 12 мая 1913 году (год 300-летия Дома Романовых, за несколько дней до прибытия царской семьи в Москву) как священномученик; богослужения в Московском Кремле возглавлял Патриарх Антиохийский Григорий IV; присутствовала великая княгиня Елисавета Феодоровна. Император Николай II в тот день возвращался из Берлина в Царское Село и направил на имя обер-прокурора святейшего синода Саблера телеграмму из Кошедар: «Поручаю вам передать святейшему патриарху Григорию <…>, а также всем помолившимся за меня и мою семью в день прославления священномученика Ермогена мою сердечную благодарность. Искренно сожалею, что не мог быть на прославлении.»
Первый храм в честь нового святого был освящён митрополитом Макарием (Невским) 13 мая 1913 года — устроен Русским монархическим собранием и Русским монархическим союзом в подземелье Чудова монастыря.
11 и 12 мая 1914 года в Московском Кремле состоялось торжественное открытие и переложение мощей святителя в новую раку, сооружённую иждивением императора Николая II и императрицы Александры Феодоровны; торжества возглавил митрополит Московский Макарий (Невский), присутствовали великая княгиня Елисавета Феодоровна и обер-прокурор святейшего синода В. К. Саблер.
В 1916 году в № 9 «Богословского вестника» (печатного органа Московской духовной академии) были опубликованы служба и акафист святителю Гермогену (автор, предположительно, — протоиерей Илия Гумилевский).