Родился 7 июля 1924 года в селе Федосиха ныне Коченевского района Новосибирской области в семье крестьянина. Русский.
Образование неполное среднее. Работал в родном селе в Верх-Карасукском совхозе, а с 1942 года — на заводе в Новосибирске.
В Красной Армии с ноября 1942 года, призван Новосибирским ГВК. Участник Великой Отечественной войны с 1943 года. Боевое крещение получил в боях на Орловско-Курской дуге. Был трижды ранен.
Командир стрелкового отделения мотострелкового батальона младший сержант Александр Анцупов 22 сентября 1943 года первым переправился через реку Днепр на подручных средствах и повёл своё отделение в атаку. В бою за расширение плацдарма его отделение участвовало в освобождении села Зарубенцы Каневского района Черкасской области Украины. Лично уничтожил несколько гитлеровцев.
После войны А. Я. Анцупов был демобилизован из Вооруженных Сил СССР. Член ВКП(б)/КПСС с 1950 года.
Жил и работал в родном селе, а также других сельских районах области. Александр Яковлевич проработал в системе потребительской кооперации председателем правления Верх-Карасукского рабкоопа двадцать восемь лет (1954—1981).
В настоящее время живёт в посёлке Коченево. Принимает активное участие в ветеранском движении. К 60-летию Великой Победы ветеран составил районную книгу памяти.
В 2010 году Анцупов был участником парада в Москве, посвященного 65-летию Победы в Великой Отечественной войне.