Занимал Тверскую, Уфимсую, Черниговскую и Костромскую архиерейские кафедры.
Родился в семье сельского псаломщика. Брат — протоиерей Николай Васильевич Крылов (1875—1941) — умер в лагере, в 2001 году причислен к лику святых Русской православной церкви.
Окончил Донское духовное училище, Московскую духовную семинарию (1901 год). С 1901 года — учителем церковно-приходской школы. С 3 июня 1903 года — псаломщик одного из московских храмов.
Окончил Московский коммерческий институт со степенью кандидата коммерции (1912 год), юридический факультет Московского университета со степенью кандидата прав (1914 год). В 1914 году зачислен помощником присяжного поверенного в Окружной судебной палате. В 1918—1944 годах работал в различных государственных учреждениях по экономической и юридической специальностям (ревизором, инспектором, юрисконсультом).
С 16 января 1944 года — диакон, с 18 января 1944 года — священник Богоявленского патриаршего собора Москвы. 18 августа 1945 года пострижен в монашество, к этому времени он овдовел. В монашестве получил имя Арсений в честь Святителя Арсения Тверского (†1409). 19 августа возведён в сан архимандрита.
26 августа 1945 года хиротонисан во епископа Калининского и Великолуцкого; хиротонию возглавил Патриарх Алексий I.
С 18 августа 1945 года — епископ Калининский и Великолукский.
С 17 марта 1950 года — епископ Уфимский и Башкирский. С 31 июля 1952 года — епископ Уфимский и Стерлитамакский.
С 17 ноября 1953 года — епископ Черниговский и Нежинский.
29 июля 1954 года уволен на покой.
С 11 ноября 1954 года — епископ Костромской и Галичский.
17 сентября 1956 года вновь уволен на покой.
Отличался большой любовью к церковным службам, смирением и добротой к своей пастве; защищал интересы церкви от действий властей, за что много претерпел неприятностей.
26 мая 1962 года, вернувшись из храма, скончался от кровоизлияния в мозг. Похоронен на Ваганьковском кладбище города Москвы (участок 39, могила находится в глубине участка под палаткой из металлической сетки среди родственных могил).