В 2011 году прославлен в лике святых Русской православной старообрядческой церковью.
Родился в 1840 году в деревне Ильина Гора Вязниковского уезда Владимирской губернии в семье старообрядцев-беспоповцев нетовского согласия, полагавших, что после XVII века нет истинных церкви, священства и таинств. Получил домашнее образование, затем успешно окончил казённое училище. Занимался крестьянским трудом. В юности уходил к старцам — беспоповским пустынникам — но по настоянию матери вернулся в семью. Работал судовым приказчикам у купцов-беспоповцев, живших в городе Коврове и занимавшихся хлебной и рыбной торговлей. Изучал богословские труды, находившиеся в библиотеке своих хозяев, пришёл к выводу о ложности учения о прекращении истинного священства.
Будучи по делам в Москве, был принят старообрядческим архиепископом Антонием (Шутовым), который убедил его в истинности белокриницкой иерархии. С 1865 жил в Москве, присоединился к старообрядческой церкви и работал письмоводителем при владыке Антонии до его кончины в 1881. Продолжил заниматься самообразованием, изучая историческую и богословскую литературу из библиотеки архиепископа, учился греческому языку. Убедил своих родителей и односельчан признать белокриницкую иерархию, его усилиями в родном селе был выстроен деревянный храм во имя Святой Троицы. После кончины архиепископа Антония написал его биографию — важный источник по истории старообрядчества XIX века.
В 1883 выехал в Румынию, где занимался организацией старообрядческой типографии и издал свой первый труд «Истинность старообрядствующей иерархии». В начале 1885 года, после возвращения в Россию, принял иночество и был рукоположён во священноинока. Жил в скиту близ села Безводного в Нижегородской губернии, где вместе с Иваном Верховским организовал нелегальное гектографическое издание старообрядческих книг, в том числе собственных сочинений «Оправдание старообрядствующей Церкви» и «Книга об антихристе». Позднее это издательство было переведено в Нижний Новгород. Много путешествовал с целью старообрядческой проповеди, посетил Поволжье, Урал и Украину. В сентябре 1890 был арестован в Черниговской губернии за «явное оказательство раскола», но весной 1891 освобождён под залог. Поселился в Нижнем Новгороде в доме купчихи Веры Михайловны Сироткиной, матери видного деятеля старообрядчества Дмитрия Васильевича Сироткина. Занимался собиранием старообрядческой библиотеки, обучением молодых богословов («начётчиков»), среди которых были Фёдор Мельников и Иван Усов (в иночестве Иннокентий, будущий митрополит).
Как начётник, Арсений (Швецов) использовал не только старопечатные книги (как свои предшественники), но и новые академические издания творений Отцов церкви, находя в них аргументы в полемике с противостарообрядческими миссионерами. Разработал учение о церкви, согласно которому её непогрешимость заключается не в людях, всегда грешных и преступных, а в Христе и его благодатных действиях в церкви. Считал, что церковь имеет две стороны — внутреннюю и внешнюю; первую составляет исповедание веры, а вторую — верующие, как пасомые, так и пастыри, а равно и священнодействия, тесно связанные с званием пастырей. Из этого исходит, что в период, когда у старообрядцев в течение 180 лет не было своих архиереев, внутренняя — таинственная, благодатная, Божественная — сторона церкви продолжала существовать. Поэтому старообрядческое общество, «с лишением единомысленных себе епископов, не лишалось наименования церкви Христовой».
Деятельность Арсения (Швецова) и его богословские взгляды вызывали противоречивую реакцию в старообрядческой среде. Оппоненты — в частности, старообрядческий писатель Василий Механиков — обвиняли его в еретических воззрениях. Уже когда он был епископом, некоторые старообрядцы упрекали его во внесении исправлений в церковные книги, называя «книжным реформатором наподобие Никона», и требовали лишить за это сана. В то же время представители официальной церкви считали его своим опасным оппонентом, утверждая, что «Швецов опасный пропагандист раскола» и что он «сеет раскол по всей России».
В 1897 году уральские старообрядцы попросили архиепископа Савватия рукоположить священноинока Арсения на Уральскую кафедру. В октябре 1897 года в селе Елесине Нижегородской губернии состоялось его рукоположение. Уже в 1898 году епископ Арсений стал местоблюстителем Московской архиепископии после того, как владыка Савватий дал требуемую властями подписку о том, что не является архиепископом, и после этого был смещён старообрядцами со своего поста. Был одним из инициаторов избрания нового архиепископа Иоанна (Картушина), содействовал налаживанию ежегодного созыва Освященных Соборов, являлся учредителем ежегодных Всероссийских съездов старообрядцев. По инициативе владыки Арсения его ученик Иннокентий (Усов) был рукоположён во епископа Нижегородского и Костромского. Наряду с Уральской епархией временно управлял Нижегородской и Саратовской.
Продолжал заниматься литературной деятельностью. По словам В. П. Рябушинского, «как писатель он очень плодовит и разнообразен. Нет, кажется, ни одного вопроса, важного для старообрядчества, которого бы уральский епископ не коснулся». В 1906 году основал в Уральске первую легальную старообрядческую типографию. До самой смерти продолжал посещать приходы трёх епархий, которыми управлял. Единственным его достоянием была библиотека, стоившая более 10 тысяч рублей — деньги, получаемые от богатых благотворителей, он передавал бедным приходам и неимущим священникам.
В 2011 году прославлен в лике святых Русской православной старообрядческой церковью. Мощи обретены и покоятся в старообрядческом храме Уральска.