Родился 28 октября 1923 года в городе Ленинграде (ныне Санкт-Петербург) в семье рабочего. Еврей. Член КПСС с 1942 года. Окончил 10 классов. Поступил во 2-е Ленинградское артиллерийское училище.
В Красной Армии с июля 1941 года. Участвовал в боях у Красного Села, где курсантские части сдерживали наступление гитлеровцев к Ленинграду.
После эвакуации училища на Урал, Гальперин прошёл ускоренные курсы артиллеристов и был направлен в Москву, затем попал на Северо-Западный фронт, где получил звание старшего лейтенанта и командование пушечной батареей.
В середине января 1944 года артиллерийский полк, в котором старший лейтенант Гальперин командовал пушечной батареей, участвовал в наступлении на немецкие позиции Новоржев-Старая Русса.
17 января 1944 года части 208-й стрелковой дивизии заняли первую траншею немецких укреплений у деревни Заболотье Новосокольнического района Псковской области. До второй линии было около 150 метров. На следующий день, 18 января 1944 года Гальперин был направлен на наблюдательный пункт в боевые порядки пехоты для управления артподдержкой. После ожесточённых боёв немецкие войска окружили позицию артиллерийского НП, на котором остались пятнадцать артиллеристов и командир артиллерийского дивизиона майор А. Т. Яковлев, возглавивший оборону НП.
После четвёртой атаки на НП осталось только шестеро бойцов во главе с Гальпериным. Старший сержант Сутормин оперативно восстановил прервавшуюся было связь с артдивизионом. Гранатами была отбита пятая атака, после которой, однако, НП оказался в окружении. В последовавшей рукопашной схватке трое красноармейцев погибли, Гальперин отдал по телефону команду: «Вызываю огонь на себя». Атака была отбита, позиция сохранена, было уничтожено до трёх рот немецких войск. Израненный Гальперин был направлен в госпиталь.
Указом Президиума Верховного Совета СССР от 4 июня 1944 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецко-фашистскими захватчиками и проявленные при этом отвагу и геройство старшему лейтенанту Анатолию Владимировичу Гальперину было присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 3876).
Полученные раны не позволили бойцу снова принять участие в боях. После войны в 1948 году А. В. Гальперин окончил Военную артиллерийскую инженерную академию имени Ф. Э. Дзержинского. Вышел в отставку в чине полковника. Жил в Москве. Работал в аппарате Министерства обороны СССР. Умер 19 января 1966 года. Похоронен в Москве на Новодевичьем кладбище.
Награждён орденом Ленина, орденами Отечественной войны 2-й степени, Красной Звезды, медалями.