В 1893 году окончил Московский университет.
С 1896 года работал ассистентом в Юрьевском университете. В 1888—1890 годах вместе с Н. И. Кузнецовым и Н. А. Бушем совершил по поручению Императорского Русского географического общества несколько ботанико-географических экспедиций («экскурсий») по Кавказу.
С 1902 года — ботаник в Тбилисском ботаническом саду. В 1914—1927 гг. — профессор Киевского университета, с 1914 года — директор Киевского ботанического сада, с 1927 года — директор НИИ ботаники (Института ботаники) Академии наук УССР.
С 1921 года — академик АН УССР.
Основные печатные работы связаны с изучением папоротников Кавказа, Украины, Сибири, Дальнего Востока и СССР в целом.
В честь А. В. Фомина названо множество видов растений, в том числе одно из эндемичных растений Грузии — Белокопытник Фомина (Petasites fominii Bordz.).
В 2009 году Институтом ботаники им. М. Г. Холодного НАНУ и гербарием института (KW) начат выпуск периодического издания, названного в честь А. В. Фомина — «Fominia».