Родился 2 апреля 1832 года в селе Красном Моложского уезда Ярославской губернии, незаконнорожденный сын небогатого помещика и крепостной. Фамилию и отчество получил от крёстного — уездного исправника Арсения. Был оставлен в доме родителя и воспитывался как барчонок.
Образование получил в Романовоборисоглебском уездном училище (1849—1851) и в гимназических классах Демидовского лицея в Ярославле (1854—1857, не до конца курса).
Преподавал русский язык в Усть-Сысольском второразрядном уездном женском училище (1858—1861, был и одним из инициаторов его открытия), затем в училище в Вологде (1861—1867), где преподавал также и географию. В 1863 году открыл в Вологде первую частновладельческую публичную библиотеку, которую позже пожертвовал в женскую прогимназию Усть-Сысольска.
В 1867 году занял место секретаря Вологодского статистического комитета; затем был чиновником по крестьянским делам; одновременно редактировал неофициальную часть «Вологодских губернских ведомостей». В 1879—1881 годах издавал «Вологодский сборник». С 1882 года состоял чиновником по крестьянским делам Усть-Сысольского уезда Вологодской губернии. С 1885 года был почётным мировым судьёй по Усть-Сысольскому и Яренскому уездам. Был активным деятелем усть-сысольского уездного земства.
В своих хозяйствах развивал молочное дело: строил заводы сыроваренные и сливочного масла. В Усть-Сысольске вблизи центра города построил два деревянных дома; один для своей семьи, другой для сдачи под постой — в нём при Арсеньеве помещалась почтовая контора. Был награждён орденом Святого Владимира.
Умер 18 (30) ноября 1889 года, дослужившись до статского советника. Похоронен возле Кирульской церкви в Усть-Сысольске, могила затеряна.
Вскоре после перевода учителем в Вологду женился на молодой бездетной вдове помещице Пироговой и стал хозяином поместья. Та вскоре умерла, и Арсеньев женился на вдове-помещице Бердяевой, у которой было 2 сына, дослужившихся впоследствии до больших военных чинов; имел с ней дочь Ольгу. Когда умерла Бердяева, Арсеньев женился на дворянке-девице Сахновской, с которой жил до своей смерти, она родила ему дочь Марию и сыновей Андрея и Владимира.
Надо отметить, что Арсеньев иногда делал в свои произведения вставки из разных печатных источников, не давая ссылку на оригинал (например, статья 1879—1880 годов «Пётр Великий в Вологде и на Севере России» являющаяся перепечаткой статьи 1860 года Н. И. Суворова «О посещениях г. Вологды Петром Великим»); ставил своё авторство под чужими произведениями (статья «Движение населения Вологодской губернии за десятилетний период (с 1867 по 1877 г.)», написанная политическим ссыльным П. С. Поливановым; книга «Ульяновский монастырь у зырян», третья глава которой (большая часть книги) представляет собой повествование монаха Арсения, а вторая и чётвёртая — выдержки из трёх неуказанных источников).