В 1915—1918 гг. учился в Хреновской учительской семинарии, после окончания которой начал работать учителем в с. Пешево, рядом с родной деревней.
В армии с 1919 года. Участник Гражданской войны.
В 1922 году окончил курсы «Выстрел», в 1930 году Военную академию им. М. В. Фрунзе. С 1933 года служил в ВВС. Участник советско-финляндской войны 1939—1940 гг., начальник штаба ВВС Северо-Западного фронта. С 1940 г. командующий ВВС Ленинградского военного округа.
В Великую Отечественную войну командовал ВВС Северного и Ленинградского фронтов.
В 1942—1943 — заместитель Народного комиссара обороны СССР по авиации.
С мая 1943 по 1946 командующий ВВС. Как представитель Ставки ВГК, координировал боевые действия авиации нескольких фронтов в битвах под Сталинградом и на Курской дуге, при штурме Кёнигсберга, в Берлинской операции. В 1943 А. А. Новикову первому в СССР было присвоено звание «Маршал авиации», в 1944 году, также первому в стране — «Главный маршал авиации», а в апреле 1945 г. звание Героя Советского Союза. В сентябре 1945 г. «за успешное выполнение операции в боях против империалистической Японии» ему была вручена вторая Звезда Героя Советского Союза. 24 июня 1945 года должен был командовать отменённым из-за дождя воздушным парадом во время Парада Победы.
В 1946—1952 в заключении по сфабрикованному «авиационному делу» (приговорён к 5 годам заключения 11 мая 1946 и отбыл год сверх срока). Арест Новикова и министра авиационной промышленности Шахурина иногда объясняют конфликтом Новикова с Василием Сталиным.
Реабилитирован и восстановлен в звании в 1953.
После освобождения, в 1953—1955, командующий авиацией дальнего действия, заместитель Главнокомандующего ВВС.
С 1956 начальник Высшего училища Гражданской авиации.
Иностранные ордена: