Сын священника. Родился 27 января 1736 года в городе Кашине Тверской губернии. Получив образование сначала в Тверской и Троицкой семинариях, а затем в Славяно-греко-латинской академии в Москве, Василий Верещагин, в 1761 году, был определён учителем риторики в Тверскую семинарию, а в декабре 1766 года здесь же назначен префектом.
19 февраля 1767 года он пострижен в монашество в Жёлтиковом монастыре, с именем Арсения, на другой день рукоположён во иеродиакона, а 21 апреля — во иеромонаха и вместе с тем назначен настоятелем Малицкого Николаевского монастыря. В следующем году, 15 октября, он утверждён был в звании ректора и учителя богословия и посвящён в сан архимандрита тверского Отроча монастыря, откуда 10 августа 1771 года переведён в Троицкий Макарьев монастырь, с оставлением в должности ректора. Во всё время управления семинарией архимандрит Арсений отличался любовью к ученикам и заботливостью об их материальном благосостоянии и умственном развитии, что ясно выразилось в сохранившейся в семинарии инструкции, которую он составил для воспитанников, и сущность которой заключается в стремлении развить в учениках сознание своего человеческого достоинства и этим остановить их от дурных поступков, не прибегая к суровым мерам наказания, существовавшим в прежнее время.
22 декабря 1773 года архимандрит Арсений был рукоположён петербургским архиепископом Гавриилом (Петровым) во епископа Архангелогородского; чин посвящения был совершён в Санкт-Петербурге в Зимнем дворце в присутствии Императрицы Екатерины II, которая при отъезде Арсения в Архангельск подарила ему архиерейское облачение и 2000 рублей на путевые расходы. Архангелогородскую кафедру он занимал всего год с небольшим.
1 апреля 1775 года он был переведён в Тверскую епархию, которою и управлял восемь лет. При переезде императрица выслала ему 1000 рублей. Находясь на пути между двумя столицами, Арсений часто встречал её и всегда говорил приветственные речи. Его назначение на тверскую кафедру было встречено в Твери с глубокою радостью, в особенности в среде учащих и учащихся Тверской семинарии, где ещё свежо было в памяти время его ректорства. Он вполне оправдал возлагавшиеся на него надежды и сделал для семинарии больше, чем кто-либо из его предшественников. При нём был, между прочим, выстроен и открыт новый дом для семинарии, на избранном им месте, в центре старого Тверского кремля. Среди хлопот о построении дома для семинарии, преосвященный не менее заботился и о внутреннем её благоустройстве. Так как число учащихся в это время значительно возросло, а денежные средства остались те же, то епископ Арсений, насколько мог, восполнял недостаток из своих личных средств. К этому же времени относится введение преподавания в семинарии, вместо латинского, на русском языке: есть основания предполагать, что им же введены в круг семинарского преподавания физика и гражданская история. Любовь семинаристов к своему архипастырю выразилась в массе од, речей и стихотворений, написанных в честь его и хранившихся в рукописях семинарской библиотеки.
22 сентября 1783 года преосвященный Арсений перемещён был в Ростов и здесь 22 марта 1785 года возведён в сан архиепископа. С 1788 года в связи с переводом архиерейской кафедры из Ростова в губернский город Ярославль стал именоваться архиепископом Ярославским и Ростовским. Местом проживания Арсения был назначен ярославский Спасо-Преображенский монастырь, ставший Архиерейским домом. Благодаря ему в 1789—1791 годах в Ярославле был построен каменный храм святителя Леонтия Ростовского, установлен ежегодный крестный ход к храму из центра города. 5 апреля 1797 года присутствовал на коронации императора Павла I, пожаловавшего ему деньги на покупку в Санкт-Петербурге подворья и устроение при нём домового храма. В 1797 году освидетельствовал в Тотьме обретённые в 1796 году мощи преподобного Феодосия Тотемского.
8 ноября 1797 года был назначен членом Священного Синода. Умер 23 декабря 1799 года, находясь в Санкт-Петербурге. Погребён, согласно завещанию, в Большой церкви Троицкого Макарьева монастыря, против южных пономарских дверей, близ правого клироса.
Награждён орденами св. блгв. кн. Александра Невского (1797) и св. Иоанна Иерусалимского большого креста (1799).
Будучи знатоком греческого языка, преосвященный Арсений исправил и издал в 1772 году, в двух частях, славянский перевод бесед Златоустовых о покаянии и на некоторые господские праздники, сделанный игуменом Софронием (Младеновичем). Из речей его, часто им произносимых, напечатаны: «Слово о истинной славе в день тезоименитства Императрицы Екатерины II» (М., 1779); «Слово при начатии выборов в новые должности, на основании высочайших учреждений» (Тверь, 1781). Публиковал свои речи и проповеди в ярославском журнале «Уединенный пошехонец» — первом русском провинциальном ежемесячном издании; был его цензором. Сохранились его автобиографические записки. Архиепископ Тверской Савва издал в 1893 году «Сборник писем духовных лиц XVIII века к преосвященному Арсению Верещагину».
Не будучи сам поэтом, Арсений любил поэзию и покровительствовал ученикам, занимавшимся музами. От его времени осталось множество стихотворных произведений не только учеников, но и церковнослужителей, положенных иногда и на ноты. Часть сочинений учителей и учеников Ярославской семинарии на средства Арсения отпечатана небольшою книжкою в Ярославле в 1791 году, и носит заглавие «Оды, разговоры, надписи, канты, сочиненные и говоренные в разные времена в Ярославле».
Обладал личной библиотекой из нескольких тысяч томов, изданных исключительно на иностранных языках в Европе и России. Ныне большая её часть находится в Ярославском и Ростовском музеях-заповедниках. Благодаря Верещагину его хороший знакомый А. И. Мусин-Пушкин стал владельцем рукописи «Слова о полку Игореве».
В дневниках архиепископа Арсения за 1786—1791, 1797—1799 годы есть упоминание о создании нескольких его портретов. Сохранились 2 погрудных портрета иерарха 1785 и 1786 годов (ГМЗРК) работы ростовского художника Н. С. Лужникова (масло, холст), портрет конца 1790-х годов (ЯИАХМЗ). Имеется поколенный гравированный портрет в овале 1783 года работы Л. Галахова. На портрете созданном около 1795 года Арсений представлен с братией ростовского архиерейского дома (известен по эстампу).