Александр Александрович Васильев родился в 1867 году в Санкт-Петербурге.
В 1892 году окончил историко-филологический факультет Санкт-Петербургского университета. С 1892 по 1897 год преподавал древние языки в первой гимназии. С 1897 по 1900 годах находился в качестве стипендиата историко-филологического факультета в заграничной командировке в Париже. В 1901 году Васильев защитил магистерскую диссертацию на тему «Политическое отношение Византии и арабов за время аморийской династии».
В 1902 году Васильев занимается изучением рукописей Агафия. Для этого он вместе с Н. Я. Марром предпринимает весной путешествие на Синай, в монастырь Святой Екатерины, а затем направляется во Флоренцию, где проводит в работе несколько месяцев. В этом же году он защищает докторскую диссертацию на тему «Политическое отношение Византии и арабов за время македонской династии (867—959)». С 1904 по 1912 год — профессор Юрьевского университета по кафедре всеобщей истории.
В 1912—1922 годах он был профессором и деканом историко-филологического факультета Петербургского (затем — Петроградского) педагогического института. С того же 1912 года по 1925 год А. А. Васильев был профессором Санкт-Петербургского университета. Кроме того, А. А. Васильев работал в Российской академии истории материальной культуры (РАИМК), где с 1919 году занимал должность заведующего разрядом раннехристианской и византийской археологии и искусства. В 1920—1925 годах он был председателем РАИМК. С 1919 году Васильев — член-корреспондент РАН.
В 1925 году выехал в заграничную командировку сначала в Берлин, потом в Париж и далее в США. 2 июня 1925 года решением общего собрания его исключают из АН СССР. После того, как 1 июля 1928 года было признано окончательным сроком его командировки, принял решение не возвращаться.
С 1925 по 1938 годы профессор Висконсинского университета (англ. ). В 1934 году он был избран членом Югославской Академии наук. В последующие годы А. А. Васильев был также президентом Археологического института им. Н. П. Кондакова в Праге, членом Американской Академии Средневековья, председателем Международной Ассоциации византинистов (англ. International Association of Byzantine Studies).
Стал родоначальником византологии в США. На Византийском конгрессе в Салониках в 1953 году был избран почётным президентом конгресса.
22 марта 1990 года посмертно восстановлен в звании члена-корреспондента АН СССР.