Меркурий был славянином из Моравии и происходил из княжеского рода. В юном возрасте пришёл в Смоленск и поступил на службу к смоленскому князю. Согласно житию, Меркурий отличался набожностью и «благочестивой жизнью: подвизался в посте и целомудрии».
Мученичество принял в 1239 году во время нашествия хана Батыя на Смоленск. По преданию, когда татарские войска стояли в 25 верстах от города, на Долгомостье, молившемуся ночью в соборе перед иконой Божией Матери местному пономарю явилась Богородица, велевшая позвать Меркурия.
Меркурий послушался веления Богородицы и ночью пошёл во вражеский лагерь где, согласно жития, истребил множество врагов, включая некого исполина, наводившего на всех страх своей силою. В ходе сражения сын убитого исполина отсёк Меркурию голову, но татары в страхе бежали: «побросав оружие, гонимые какой-то неведомой силой, они бежали от города, под котором погибло так много из лучших бойцов, и удалились из пределов Смоленских».
Тело Меркурия было погребено жителями в Успенском соборе Смоленска. Церковное празднование в память святого Меркурия было установлено в конце XVI века, но уже с 1509 года жители Смоленска почитали его заступником города.
«Слово о Меркурии Смоленском» — памятник древнерусской письменности.
У Ивана Бунина в «Суходоле» встречается следующее описание: «В углу лакейской чернел большой образ святого Меркурия Смоленского, того, чьи железные сандалии и шлем хранятся на солее в древнем соборе Смоленска. Мы слышали: был Меркурий муж знатный, призванный к спасению от татар Смоленского края гласом иконы Божьей Матери Одигитрии Путеводительницы. Разбив татар, святой уснул и был обезглавлен врагами. Тогда, взяв свою главу в руки, пришёл он к городским воротам, дабы поведать бывшее… И жутко было глядеть на суздальское изображение безглавого человека, держащего в одной руке мертвенно-синеватую голову в шлеме, а в другой икону Путеводительницы».