А. Н. Ефимов родился 6 февраля 1923 года в селе Кантемировка Воронежской губернии (ныне посёлок городского типа Кантемировка Кантемировского района Воронежской области) в семье железнодорожника. По национальности русский.
Детские и юношеские годы прошли в городе Миллерово.
В Рабоче-Крестьянской Красной Армии (Советской Армии) с мая 1941 года. Во время Великой Отечественной войны в 1942 году оканчивает Луганскую военную авиационную школу лётчиков и с августа этого же года в должности лётчика 594-го штурмового авиационного полка на фронте.
К июлю 1944 года командир эскадрильи 198-го штурмового авиационного полка 233-й штурмовой авиационной дивизии 4-й воздушной армии 2-го Белорусского фронта старший лейтенант А. Н. Ефимов совершил 100 боевых вылетов на разведку и штурмовку вражеских войск, аэродромов, переправ и железнодорожных эшелонов.
26 октября 1944 года Указом Президиума Верховного Совета СССР за мужество и героизм, проявленные в боях, старшему лейтенанту Ефимову Александру Николаевичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 4845).
Всего за годы войны Ефимов совершил 222 боевых вылета на штурмовике Ил-2, в ходе которых им лично и в составе группы уничтожено 85 вражеских самолётов на аэродромах (что является высшим достижением среди советских лётчиков всех родов авиации) и 8 самолётов сбито в воздушных боях, уничтожено большое количество живой силы и техники противника.
18 августа 1945 года Указом Президиума Верховного Совета СССР за мужество и героизм, проявленные в боях капитан Ефимов Александр Николаевич награждён второй медалью «Золотая Звезда» (№ 73/2), в том же году ему был установлен памятник в Миллерово.
В мирное время А. Н. Ефимов занимал высокие командные должности в ВВС: в 1951 году по окончании Военно-воздушной академии в Монино командовал полком, дивизией; в 1957 году окончив Военную академию Генштаба назначается заместителем командующего 30-й воздушной армией в Прибалтийском военном округе; с 1964 по 1969 год командовал воздушной армией в Прикарпатском военном округе; с марта 1969 года на должности первого заместителя Главкома ВВС. В начале 1970-х годов воевал месте с Хосни Мубараком.
С декабря 1984 года по июль 1990 года Главнокомандующий Военно-воздушными силами и заместитель министра обороны СССР; с 1990 по 1993 год председатель Государственной комиссии по использованию воздушного пространства и управлению воздушным движением. 29 апреля 1975 года Ефимову было присвоено звание «Маршал авиации». Он является заслуженным военный летчиком СССР (1970), доктором военных наук, профессором, академиком Военной академии авиации и воздухоплавания, лауреатом Государственной премии СССР (1984).
С августа 1993 года маршал авиации А. Н. Ефимов — в отставке.
Проживает в городе Москве. Председатель Российского комитета ветеранов войны и военной службы (с 2006 года); председатель Комиссии по взаимодействию с общественными организациями ветеранов, офицеров запаса и в отставке при Президенте РФ; заместитель председателя Российского организационного комитета «Победа», возглавляемого Президентом РФ; председатель Совета Международной ассоциации ветеранских организаций; член Центрального совета по делам ветеранов Министерства обороны РФ; член Общественной палаты РФ (с 2006 года).
В 2011 году подписал Обращение представителей общественности против информационного подрыва доверия к судебной системе Российской Федерации.