Выходец из семьи зажиточных крестьян. В юности увлекался штангой, лыжами, гимнастикой.Окончил Тамбовское кавалерийское военное училище имени Первой Конной армии, в которое поступил в 1936 году. По профессии Антон Афанасьевич Жагоров - старший бухгалтер.
Спортивный путь начал в армии - по разнарядке попал в Тамбовское кавалерийское военное училище. В 1940 ему был подписан диплом, где он значился преподавателем физподготовки, хотя фактически был командиром пулеметного взвода в звании лейтенанта.
В военные годы (и вплоть до 1947) обучал курсантов Тамбовского училища стрельбе из миномета.
В конце 40-х переведен в Иваново, назначен начальником кавалерийской школы ОСОВИАХИМа. При этом все свободное время отдавал занятиям с лошадьми. Тогда же Жагоров стал двукратным чемпионом СССР по конному троеборью. Также работал начальником в конноспортивной школе, воспитанники которой на соревнованиях в Ростове-на-Дону оставили «за флагом» хозяев. «Комсомольская правда» по этому поводу поместила отчет под многозначительным заголовком: «Как ивановские ткачи обскакали донских казаков».
В 1958 году он в шестой раз стал чемпионом СССР, после чего был приглашен работать тренером в школу высшего спортивного мастерства в Ростов-на-Дону (работал с 1961 года).
Восемь раз был чемпионом СССР, семнадцать раз - чемпионом РСФСР. Даже в 1983 году тренер сборной команды Дона в финале VIII летней Спартакиады народов СССР 69-летний Жагоров стал бронзовым призером в таком сложном виде, как выездка.
Лучшие спортивные лошади — Рейс, Топкий, Эспадрон.
Жагоров воспитал большую плеяду спортсменов, победителей и призеров чемпионатов России, СССР, Европы и Олимпийских игр: Нина Смыслова, Юрий Смыслов, Василий Савинов, Юрий Сальников, Павел Деев, Николай Корольков, Виктор Асмаев, Елена Калинина, Инесса Потураева, Наталья и Харлам Симония, Вячеслав Колесников, Петр Муравьев, Марина Коратаева, Алексей Петухов, Сергей Конюхов и десятки других.
Четыре его воспитанника Юрий Сальников, Николай Корольков, Виктор Асмаев, Виктор Погановский стали олимпийскими чемпионами, двое - Павел Деев и Виктор Горелкин - победителями первенства Европы.
Награжден орденом «Красного Знамени» и медалью «За боевые заслуги». За заслуги в области спорта был отмечен медалью «За трудовую доблесть» и орденом «Знак почёта».