Родился в 1888 году в селе Лиховка Екатеринославской губернии (ныне Днепропетровская область).
В 1912 году окончил естественное отделение физико-математического факультета Московского университета.
Занимал должность ассистента, а затем доцента Тифлисского политехнического института (1917—1926). В 1926—1931 гг. работал ботаником Наркомзема Азербайджанской ССР, а в 1931—1932 гг. был ботаником Азербайджанского государственного научно-исследовательского института. В 1925—1929 гг. занимал должность доцента, a в 1929—1946 гг. — профессора и заведующего кафедрой морфологии и систематики высших растений Азербайджанского государственного университета. В 1929 году он был утверждён также в звании профессора Высшего педагогического института, где преподавал до 1934 года.
Гроссгейм — организатор и директор (1936—1947) Ботанического института Азербайджанского филиала АН СССР.
29 января 1939 года А. А. Гроссгейм был избран членом-корреспондентом по отделению математических и естественных наук АН СССР. В 1945 году он был избран действительным членом АН Азербайджанской ССР. 30 ноября 1946 года А. А. Гроссгейм был избран академиком по отделению биологических наук (специализация «ботаника») АН СССР.
С 1947 года — в Ленинграде, руководитель сектора кавказской флоры в Ботаническом институте АН СССР, заведующий кафедрой морфологии и систематики высших растений в ЛГУ.
Александр Гроссгейм — автор научных трудов по флоре, растительности и растительным ресурсам Кавказа, автор филогенетической системы цветковых растений, инициатор и руководитель экспедиций по изучению и систематике флоры Талыша, а также автор книг об этом крае.
Лауреат премии имени В. Л. Комарова (1946).
В 1945 году советские ботаники Д. И. Сосновский и А. Л. Тахтаджян назвали в честь Гроссгейма род растений Гроссгеймия (Grossheimia Sosn. & Takht.) семейства Астровые (Asteraceae).