Его имя и мученичество известны из сохранившейся эпиграммы римского папы Дамасия I, который руководил римской христианской общиной через 100 лет после мученической смерти святого Тарцизия. Из эпиграммы известно, что Тарцизий предпочёл умереть от рук разозлённой языческой толпы, чем отдать им Евхаристию, которую он нёс, укрытую плащом. В данной эпиграмме Дамасий I сравнивает Тарцизия со святым первомучеником Стефаном. Тарцизий был аколитом, служил римскому папе Стефану I.
В 1675 году мощи святого Тарцизия были перенесены в Неаполь, в базилику святого Доминика, где была построена для мощей специальная часовня. Римский папа Пий X провозгласил святого Тарцизия покровителем итальянского отделения католического движения «Католическое Действие».
В 1939 году часть мощей святого Тарцизия была перенесена в Рим в церковь Сан-Сильвестро-ин-Капите, где хранятся до сих пор. В Париже в музее Орсе находится мраморная скульптура, посвящённая святому Тарцизию.
Par meritum, quicumque legis, cognosce duorum,
quis Damasus rector titulos post praemia reddit.
Iudaicus populus Stephanum meliora monentem
perculerat saxis, tulerat qui ex hoste tropaeum,
martyrium primus rapuit leuita fidelis.
Tarsicium sanctum Christi sacramenta gerentem
cum male sana manus premeret uulgare profanis,
ipse animam potius uoluit dimittere caesus
prodere quam canibus rabidis caelestia membra.