Родился в семье военнослужащего. Украинец.
В 1947 году окончил 6-ю Воронежскую спецшколу ВВС в Липецке (находилась на улице Ушинского, 8), в 1950 году — Чугуевское военное авиационное училище лётчиков.
После учёбы служил в авиационных частях ВВС СССР. Начинал службу старшим лётчиком, потом командиром звена, заместителем командира эскадрильи; получил квалификацию «Военный лётчик 1-го класса». В 1961 году закончил обучение в Военно-воздушной академии. В 1950-1963 годах был старшим инструктором в Одесском и Ленинградском военных округах.
В 1963 году был зачислен в отряд космонавтов и прошёл полный курс общекосмической подготовки, а также подготовки к полётам на космических кораблях серии «Союз». В 1969 году дублировал Бориса Валентиновича Волынова перед его полётом на «Союзе-5».
Первый полёт Анатолий Филипченко совершил с 12 по 17 октября 1969 года на космическом корабле «Союз-7» вместе с Владимиром Волковым и Виктором Горбатко. В программу полёта входила стыковка с космическим кораблём «Союз-8», которая не состоялась из-за технических неполадок. Общая продолжительность полёта составила 4 дня 22 часа 40 минут и 23 секунды.
В 1970 году дублировал Андриана Николаева перед его полётом на «Союзе-9».
В 1973 году был назначен командиром экипажа, проходившего подготовку к совместному советско-американскому космическому полёту (ЭПАС).
Второй полёт совершил со 2 по 8 декабря 1974 года на космическом корабле «Союз-16» вместе с Николаем Рукавишниковым. Полёт проходил в рамках подготовки к проекту ЭПАС, во время полёта была совершена отработка корабля и стыковочного узла. Общая продолжительность полёта составила 5 дней 22 часа 23 минуты и 35 секунд.
В 1975 году дублировал Алексея Леонова перед его полётом на «Союзе-19».
С 1978 года — генерал-майор авиации.
В 1978 году вышла его книга «Надежная орбита».
В отряде космонавтов находился до 1979 года.
С 1978 по 1988 год работал начальником управления Центра подготовки космонавтов. С 1989 по 1992 годы работал заместителем директора Харьковского ОКБ средств технического обучения и директором Московского филиала.
Почётный гражданин городов: Калуга, Караганда, Липецк, Острогожск, Чита, Аркалык (Казахстан), Сумы (Украина), Хьюстон (США), пгт Давыдовка, Михайлов.
В 1986 году в Липецке переулок Космонавтов был переименован в улицу Филипченко.