Алексей Дмитриевич Варганов родился 26 сентября 1905 года в Ярославской губернии.
В 1930 Алексей Варганов закончил в Ленинграде Высшие государственные курсы искусствоведения и приехал в Суздаль для работы в музее. В 1931 становится директором Суздальского музея и начинает заниматься исследованием памятников архитектуры города, защитой их от разрушения, а также комплектацией музейной коллекции. В 1934 вместе с Н. Н. Ворониным начинает археологическое обследование города.
Варганов занимался историей строительства и архитектурой Рождественского собора Суздальского кремля. В 1934 он обнаружил в стене западного притвора древнюю лестницу на хоры, а в 1938 — домонгольские фрески XIII века с изображением старцев. В подклете Покровского собора Покровского монастыря Варганов раскопал гробницу сына великой княгини Соломонии Сабуровой.
В 1945—1950 Варганов также инспектор памятников архитектуры Суздаля. Одновременно — руководитель реставрационных работ Суздальского реставрационного участка. Под его руководством в 1954—1964 проведена реставрация Рождественского собора и других памятников Суздальского кремля. С 1961 — главный архитектор Владимирской научно-реставрационной мастерской.
Умер А. Д. Варганов 22 февраля 1977. Похоронен в Суздале. Именем Варганова А.Д. названа одна из улиц Суздаля.