Окончил исторический факультет МГУ (кафедра истории Средних веков), затем поступил в аспирантуру истфака, где его научным руководителем стал известный медиевист Н. П. Грацианский. Левандовский вошёл в круг его избранных учеников, вовлечённых в семинары, проводившиеся на дому у учёного. Там Левандовский подготовил и зачитал доклад о Саксонских войнах Карла Великого, а затем под научным руководством Грацианского начал писать диссертацию «Эйнгард и каролингская традиция». После трагической гибели Н. П. Грацианского в ноябре 1945 года, Анатолий Левандовский защитил эту диссертацию уже под научным руководством Е. А. Косминского, однако опубликовать её не удалось, так как в те годы тема считалась «неактуальной»
Специализировался на истории империи Карла Великого и Великой французской революции.
Много лет преподавал историю Средних веков в Московском государственном институте культуры.
Скончался в ноябре 2008 года, похоронен 29 ноября.
Сын Анатолия Левандовского — историк Андрей Левандовский.