Прохоров родился в Атертон (Австралия) в семье русского рабочего-революционера, бежавшего от преследований царского режима. В 1923 семья вернулась на родину. В 1939 он с отличием окончил физический факультет Ленинградского государственного университета и поступил в аспирантуру ФИАНа. После начала Великой Отечественной войны Прохоров ушёл на фронт, сражался в пехоте, в разведке, был награждён. Член ВЛКСМ с 1930 по 1944. В 1944 году, после тяжёлого ранения, он был демобилизован и вернулся к научной работе. Член КПСС с 1950 г.
На протяжении 1946—1982 Прохоров работал в Физическом институте АН СССР, с 1954 возглавлял Лабораторию колебаний, с 1968 являлся заместителем директора. В 1982 году назначен директором Института общей физики АН СССР, который возглавлял до 1998, а затем являлся его почётным директором. Одновременно преподавал в МГУ (с 1959 в должности профессора) и МФТИ, где с 1971 года заведовал кафедрой.
В 1960 Прохоров избран членом-корреспондентом АН СССР, а в 1966 — академиком. В течение двадцати лет (1973-93) он являлся академиком-секретарём Отделения общей физики и астрономии АН СССР, был членом и в конце жизни советником Президиума РАН. С 1969 Прохоров занимал должность главного редактора Большой советской энциклопедии, под его руководством вышло её третье издание, а также множество других энциклопедических словарей.
Прохоров создал большую школу физиков, среди его учеников много крупных учёных. С 2002 года имя Прохорова носит Институт общей физики РАН.
Действительный член Международного Леонардо-клуба. Был главным редактором международного журнала «Лазерная физика», членом редколлегии журнала «Поверхность: физика, химия, механика».
Научные работы Прохорова посвящены радиофизике, физике ускорителей, радиоспектроскопии, квантовой электронике и её приложениям, нелинейной оптике. В первых работах он исследовал распространение радиоволн вдоль земной поверхности и в ионосфере. После войны он деятельно занялся разработкой методов стабилизации частоты радиогенераторов, что легло в основу его кандидатской диссертации. Он предложил новый режим генерации миллиметровых волн в синхротроне, установил их когерентный характер и по результатам этой работы защитил докторскую диссертацию (1951).
Разрабатывая квантовые стандарты частоты, Прохоров совместно с Н. Г. Басовым сформулировал основные принципы квантового усиления и генерации (1953), что было реализовано при создании первого квантового генератора (мазера) на аммиаке (1954). В 1955 они предложили трёхуровневую схему создания инверсной населенности уровней, нашедшую широкое применение в мазерах и лазерах. Несколько следующих лет были посвящены работе над парамагнитными усилителями СВЧ-диапазона, в которых было предложено использовать ряд активных кристаллов, таких как рубин, подробное исследование свойств которого оказалось чрезвычайно полезным при создании рубинового лазера. В 1958 Прохоров предложил использовать открытый резонатор при создании квантовых генераторов. За основополагающую работу в области квантовой электроники, которая привела к созданию лазера и мазера, Прохоров и Н. Г. Басов были награждены Ленинской премией в 1959, а в 1964 совместно с Ч. Х. Таунсом — Нобелевской премией по физике.
С 1960 года Прохоров создал ряд лазеров различных типов: лазер на основе двухквантовых переходов (1963), ряд непрерывных лазеров и лазеров в ИК-области, мощный газодинамический лазер (1966). Он исследовал нелинейные эффекты, возникающие при распространении лазерного излучения в веществе: многофокусная структура волновых пучков в нелинейной среде, распространение оптических солитонов в световодах, возбуждение и диссоциация молекул под действием ИК-излучения, лазерная генерация ультразвука, управление свойствами твёрдого тела и лазерной плазмы при воздействии световыми пучками. Эти разработки нашли применение не только для промышленного производства лазеров, но и для создания систем дальней космической связи, лазерного термоядерного синтеза, волоконно-оптических линий связи и многих других.
Прохоров — автор научного открытия «Светогидравлический эффект», которое занесено в Государственный реестр открытий СССР под № 65 с приоритетом от 28 февраля 1963 года в следующей формулировке:
Прохоров некоторое время занимался СВЧ-техникой, однако затем решил переключиться на лазеры и заставил коллектив подчиниться своему решению, разбив в лаборатории приборы по старой тематике. Последовавший скандал лишил коллектив половины сотрудников (уволились), но оставшиеся начали заниматься новым для себя делом. В результате Нобелевская премия досталась именно за лазеры.
В 1985 году киностудией «Леннаучфильм» выпущен научно-популярный фильм «Конструкторы лучей», (режиссер — А.Слободской, оператор В.Петров). Фильм посвящен достижениям Института общей физики АН СССР во главе с академиком А. Прохоровым, в особенности работам по лазерным лучам. В фильме использовано интервью с академиком Прохоровым. Показана работа других сотрудников Института.