Родился в семье капитана буксирного парохода и дочери казнённого народовольца Николая Кибальчича. В восьмилетнем возрасте его отдали в Александровский кадетский корпус.
В октябре 1917 года 13-летний Голованов вступил в Красную гвардию — благо рост был под два метра и сам он выглядел на 16 лет. Работал с 1918 года курьером в конторе «Профсохлеб» Народного комиссариата продовольствия. По собственной автобиографии — в Красной Армии с мая 1919 года. Воевал на Южном фронте, разведчик 59-го стрелкового полка, был контужен в бою. После демобилизации в октябре 1920 года Голованов вступил в ЧОН, а согласно собственной автобиографии, работал в Центральном управлении снабжения Красной Армии и Флота — курьером, в Центропечати — агентом, в Волгосудстрое — на сплаве леса, агентом и в 5-м Волжском полку ГПУ в г. Нижний Новгород — электромонтёром.
В 1924—1933 годах работал в органах ОГПУ в особых отделах и на оперативной работе, занимал должности от уполномоченного до начальника отделения. Принимал участие в аресте Бориса Савинкова. В 21 год уже носил четыре шпалы на петлицах — полковник по более поздним понятиям. Работая в органах, дважды выезжал в командировки в Китай (провинция Синьцзян) в 1930 и в 1931 годах. В 1929 году вступил в ВКП(б).
В 1931—1933 годах был прикомандирован в Народный комиссариат тяжёлой промышленности, где работал ответственным секретарём зам. наркома. В 1932 году окончил лётную школу Осоавиахима, с 1933 по 1941 годы работал в Аэрофлоте, где занимал должность пилота, командира отряда. В январе 1935 года Александр Евгеньевич назначается начальником Восточно-Сибирского управления Гражданского воздушного флота (с центром в городе Иркутске). В 1937 году был исключён из партии, после чего уехал в Москву, «за правдой». КПК выяснила, что исключён он ошибочно, но в Иркутск Александр Евгеньевич уже не вернулся, оставшись работать лётчиком в Московском управлении. Вскоре Голованов становится шеф-пилотом эскадрильи особого назначения. В 1938 году газеты писали о нём как о летчике-миллионере, то есть налетавшем миллион километров. Участвовал в боевых действиях на Халхин-Голе и в Советско-финской войне.
В январе 1941 года, по совету Якова Смушкевича (генерального инспектора ВВС), Голованов написал письмо Сталину о необходимости специальной подготовки лётчиков дальней бомбардировочной авиации к полётам в плохую погоду, вне видимости земли. После личной встречи со Сталиным в феврале 1941 года Александр Евгеньевич назначен командиром 212-го полка дальнебомбардировочной авиации, с августа 1941 года — командиром 81-й авиационной дивизии дальнего действия, а в декабре 1941 г. постановлением ГКО был назначен командиром 3-й авиадивизии дальнего действия Ставки Верховного Главнокомандования. Генерал-майор авиации (25 октября 1941).
В феврале 1942 года был назначен командующим авиацией дальнего действия (АДД) Ставки Верховного Главнокомандования. Генерал-лейтенант авиации (5 мая 1942). С этого момента до конца войны руководил советской дальней авиацией, пользовался симпатией и доверием со стороны Сталина. Генерал-полковник авиации (26 марта 1943). С декабря 1944 года — командующий 18-й воздушной армией, в которой была собрана вся дальнебомбардировочная авиация. Лично участвовал в осуществлении дальних бомбардировочных рейдов (например, в бомбардировке Берлина на начальном этапе Великой Отечественной войны). По данным немецкой разведки:
Маршал авиации с 3 августа 1943 года, Главный маршал авиации — с 19 августа 1944 года.
С апреля 1946 года — командующий дальней авиацией СССР. В 1948 году был снят со своего поста. В 1950 году окончил Академию Генерального штаба. В 1952 году был назначен командующим воздушно-десантным корпусом. В 1953 году, после смерти Сталина, отправлен в запас. Свыше 10 лет работал начальником одного из училищ гражданской авиации.
Избирался депутатом Верховного Совета СССР II созыва (1946—1950).
Послужил прототипом для образа «Дракона» (Александра Холованова) из книг Виктора Суворова Контроль и Выбор.
Автор книги воспоминаний «Дальняя бомбардировочная…», в которой многие страницы посвящены встречам и взаимоотношениям с И. В. Сталиным. При жизни автора книга издавалась с значительными купюрами и не отдельным изданием, а в литературном журнале отдельными главами на протяжении пяти лет. Впервые издана полностью только в конце 1980-х годов.