Брат Артёма Исааковича Алиханьяна.
Родился 20 февраля 1904 года в городе Елизаветполь в семье машиниста поезда. Армянин по национальности. Окончил Ленинградский политехнический институт (1928).
В 1927—1941 работал в Ленинградском физико-техническом институте АН СССР. При этом в начале 1930-х работал над сооружением циклотрона Радиевого института под руководством В. Г. Хлопина вместе с Г. А. Гамовым, И. В. Курчатовым и Л. В. Мысовским. Находился на должности ассистента Л. В. Мысовского вместе с В. Н. Рукавишниковым, размещает заказы на части установки и отслеживает их изготовление и испытание.
В 1944 году А. И. Алиханов принял участие в судьбе Физического факультета МГУ. Он подписал письмо четырёх академиков В. М. Молотову, автором которого был А. Ф. Иоффе. Это письмо инициировало разрешение противостояния между так называемой «академической» и «университетской» физикой.
В 1945 организовал Институт теоретической и экспериментальной физики, директором которого был до 1968.
Умер в Москве 8 декабря 1970 года, похоронен на Новодевичьем кладбище.
Работы посвящены ядерной физике, физике космических лучей, физике и технике ядерных реакторов, ускорительной технике, физике элементарных частиц. В 1934 вместе с А. И. Алиханьяном и М. С. Козодаевым открыл образование электронно-позитронной пары в результате внутренней конверсии энергии возбужденного ядра, в 1936 вместе с А. И. Алиханьяном и Л. А. Арцимовичем экспериментально доказал сохранение энергии и импульса при аннигиляции электрона и позитрона. Выполнил совместно с Алиханьяном прецизионные исследования бета-спектров большого количества радиоактивных элементов и обнаружил зависимость формы спектра от порядкового номера элемента. Они же впервые предложили идею опытов для доказательства реальности существования нейтрино по ядрам отдачи при К-захвате в 7Be, осуществили ряд экспериментов по физике космических лучей на горе Арагац, которые стимулировали развитие нового направления — физики элементарных частиц.
Принимал участие в создании первых советских ядерных реакторов, был руководителем тяжеловодного направления в ядерных реакторах. В 1949 году в рекордно короткий срок, менее двух лет, под его руководством был построен первый в СССР исследовательский реактор на тяжелой воде.
В 1955 году подписал «Письмо трёхсот».
В 1957 выполнил измерение продольной поляризации электронов в бета-распаде, что позволило с высокой точностью установить факт несохранения временной четности в слабых взаимодействиях.
Значительный вклад внёс в развитие экспериментальной базы физики высоких энергий. Принимал участие в сооружении первого в СССР протонного синхротрона с жёсткой фокусировкой на 7 млрд. эВ (вступил в строй в 1961) и закладывал основы проекта Серпуховского протонного ускорителя У-70 на энергию 70 млрд эВ.