Анатолий Александрович Дьяконов родился 24 июня 1907 года на хуторе Зимняцкий Серафимовичского района Волгоградской области. Русский. В Красной Армии с 1929 года. Службу начал в 84-м стрелковом полку 28-й горнострелковой дивизии и прошёл путь от курсанта до командира разведывательной роты. Продолжая службу в войсках, в 1936 году заочно окончил Военную электротехническую академию РККА имени С. М. Будённого. В 1939 году в должности начальника 2-й части штаба 114-й стрелковой дивизии принимал участие в боевых действиях на реке Халхин-Гол.
С января 1940 года — командир 60-го отдельного лыжного батальона, который в составе 7-й армии участвовал в советско-финской войне. В марте 1940 года в боях за остров Туппурансари (ныне Вихревой) капитан А. А. Дьяконов с группой бойцов совершил 25-километровый марш и, выйдя в тыл противнику, захватил его позиции и удерживал их до подхода основных сил.
Указом Президиума Верховного Совета СССР от 21 марта 1940 года за образцовое выполнение боевых заданий командования и проявленные при этом отвагу и геройство Анатолию Александровичу Дьяконову было присвоено звание Героя Советского Союза.
Великую Отечественную войну встретил в должности командира 380-го стрелкового полка Северо-Кавказского военного округа. В ноябре 1941 года после окончания ускоренного курса Военной академии РККА имени М. В. Фрунзе назначен командиром 27-й отдельной стрелковой бригады, участвовавшей в битве под Москвой.
В декабре 1941 года назначен командиром 257-й стрелковой дивизии 3-й ударной армии. Во время Великолукской операции перед дивизией полковника Дьяконова была поставлена задача овладеть крупным и сильно укреплённым городом Великие Луки. Анатолий Александрович проявил творческую инициативу и, одним из первых военачальников Красной Армии, стал создавать и готовить для боевых действий в городе специальные штурмовые отряды. Благодаря этому решению дивизия сыграла решающую роль в освобождении города. После завершения Великолукской операции А. А. Дьяконову было присвоено звание генерал-майора, а 257-я стрелковая дивизия, которой он руководил была преобразована в 91-ю гвардейскую стрелковую дивизию.
С марта по июль 1943 года — заместитель командующего 43-й армией.
Июль 1943 года — апрель 1944 года — командир 83-го стрелкового корпуса 39-й армии. Руководил корпусом в Смоленской, Духовщинско-Демидовской и Невельской наступательных операциях, в освобождении городов Панкратово и Кулагино. С октября 1943 года корпус под командованием Дьяконова вёл наступательные бои на Витебском направлении, принимал участие в Городокской наступательной операции, оборонял город Невель.
С апреля 1944 года по март 1945 года — слушатель Военной академии Генерального штаба.
В марте 1945 года назначен командиром 56-го стрелкового корпуса 16-й армии 2-го Дальневосточного фронта. Командовал корпусом в войне с Японией. В августе 1945 года возглавил проведение Южно-Сахалинской операции. 8 сентября 1945 года А. А. Дьяконову было присвоено звание генерал-лейтенанта.
С февраля 1950 года — командир 8-го гвардейского воздушно-десантного корпуса, затем первый заместитель командующего воздушно-десантной армией, с мая 1953 года — заместитель командующего Воздушно-десантными войсками Советской Армии. С июня 1955 года — генерал-инспектор МО СССР. В июле 1956 года назначен старшим военным советником и начальником штаба Корейской народной армии. С мая 1957 года до февраля 1959 года — военный атташе при посольстве СССР в КНДР. В 1963 году вышел в отставку.
8 мая 1965 года генерал-лейтенант в отставке А. Дьяконов был удостоен звания почётного гражданина города Великие Луки.
Анатолий Александрович Дьяконов скончался 8 августа 1972 года. Похоронен в Москве на Введенском кладбище.
Именем отважного полководца названа улица в городе Великие Луки.