Родился в г. Тараща Киевской губернии в семье мирового судьи.
Был юнкером, в годы Гражданской войны служил в армии Врангеля, имел воинские награды.
По окончании Киевского университета (физический факультет, 1930), работал в Киевском рентгеновском (медицинском) институте в рентгено-физическом отделе, а затем в ЛФТИ, где совместно с С. Н. Журковым и П. П. Кобеко разработал статистическую теорию прочности.
Перед началом Великой Отечественной войны совместно с И. В. Курчатовым и В. М. Тучкевичем разработал метод защиты кораблей от магнитных мин (первые испытания состоялись на линкоре «Марат» в октябре 1938 года, акт приёмки работ был подписан 18 июня 1941 года), затем успешно применявшийся на советском военном флоте (при обороне Севастополя, во время блокады Ленинграда, на Волге в 1942 году, на Балтике, на Северном флоте) и на гражданских судах. Уже 9 августа 1941 года А. П. Александров и И. В. Курчатов прибыли в Севастополь для организации работ по оборудованию кораблей Черноморского флота «системой ЛФТИ», и к концу октября она была установлена более чем на 50 кораблях; при этом Александров и Курчатов продолжали исследования по её совершенствованию. В память об этом в 1976 году в Севастополе была установлена гранитная стела, а 28 октября 2011 года в здании ФТИ им. А. Ф. Иоффе — мемориальная доска.
С 1943 года Александров участвовал в создании атомного оружия. Был заместителем И. В. Курчатова в Лаборатории № 2 АН СССР (позже ставшей известной как Институт атомной энергии им. И. В. Курчатова). В 1946—1955 был директором Института физических проблем АН СССР (был назначен вместо опального П. Л. Капицы). В 1951 году именно Александров на совещании с Курчатовым принял решение о возможности применения изменений, предложенных Б. Г. Дубовским для решения проблем с активной зоной реактора АИ-1.
В 1955 стал заместителем директора Институт атомной энергии, а после смерти Курчатова (1960), стал его директором. По инициативе Александрова и при его участии были разработаны и построены судовые энергетические установки для атомных ледоколов «Ленин», «Арктика» и «Сибирь». В 1960-е годы по инициативе Александрова в ИАЭ им. И. В. Курчатова была построена крупнейшая в СССР установка по сжижению гелия. Это обеспечило широкий фронт фундаментальных исследований по физике низких температур, а также по техническому использованию сверхпроводимости. Являлся научным руководителем проекта реакторных установок типа РБМК.
С 25 ноября 1975 года по 16 октября 1986 года — президент Академии наук СССР.
Авария на Чернобыльской АЭС 26 апреля 1986 стала личной трагедией для Александрова, по его словам:
Поддерживал первоначальную официальную версию о причинах Аварии на Чернобыльской АЭС, согласно которой виновниками аварии является обслуживающий персонал ЧАЭС. Однако согласно «Докладу комиссии государственного комитета СССР по надзору за безопасным ведением работ в промышленности и атомной энергетике» аварии на ЛАЭС в 1975 году и ЧАЭС в 1986 году имели общие технические причины. Распространённая неофициальная версия называет Александрова главным виновником Чернобыльской аварии как научного руководителя проекта РБМК, допустившего критические просчёты в конструкции и проигнорировавшего решения Научно-технического совета Минсредмаша, предложения В. П. Волкова и В. Л. Иванова по уменьшению парового эффекта реактивности по результатам аварии 30 ноября 1975 года на первом блоке Ленинградской АЭС.
Скончался 3 февраля 1994 года. Похоронен на Митинском кладбище в Москве.