Алексей Фёдорович родился в 1903 году в деревне Городская Скала Керчь-Еникальского градоначальства Таврической губернии, теперь в черте города Керчи, в семье русского ремесленника. Оставшись без отца, воспитывался в приюте, затем работал на рыболовном паруснике, был батраком. В годы становления советской власти сочувствовал революционным идеям, был председателем батрачкома.
В 1925 году был призван в ряды Красной Армии, за годы службы в которой стал профессиональным военным политработником. В 1931 году закончил военно-политическую школу.
В декабре 1942 года был направлен на фронт, до этого занимал должности начальника Дома командного состава Амурской флотилии и заместителя командира военно-морского госпиталя в Хабаровске.
В 1943 году А. Ф. Головлёв, окончив курсы офицерского состава в Гагре, получил звание капитана и был назначен парторгом в 384-й отдельный батальон морской пехоты Одесской военно-морской базы Черноморского флота.
Участвовал в десантной операции по освобождению города Осипенко, за мужество и отвагу в которой был награждён орденом Красной Звезды. Участвовал также в боях на Кинбурнской косе, освобождении посёлков Херсонской области Александровка, Богоявленское (ныне Октябрьский) и Широкая Балка.
Во второй половине марта 1944 года вошёл в состав десантной группы под командованием старшего лейтенанта Константина Фёдоровича Ольшанского. Задачей десанта было облегчение фронтального удара советских войск в ходе освобождения города Николаева, являвшегося частью Одесской операции. После высадки в морском порту Николаева отряд в течение двух суток отбил 18 атак противника, уничтожив около 700 гитлеровцев. В этих боях геройски погибли почти все десантники, в том числе и капитан А. Ф. Головлёв.
Указом Президиума Верховного Совета СССР от 20 апреля 1945 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом отвагу и геройство капитану Головлёву Алексею Фёдоровичу было присвоено звание Героя Советского Союза (посмертно) .