В 1898 году окончил Рязанскую гимназию с золотой медалью, затем, в 1904 году, — естественнонаучное отделение физико-математического факультета Московского университета. Первое исследование написал ещё студентом. После окончания университета остался работать в нём на кафедре геологии. С 1912 года стал также работать в Геологическом комитете. В 1917 году защитил докторскую диссертацию и в 1918 году утверждён в должности профессора Московского университета. А. Д. Архангельский также преподавал в Горной академии и в Межевом институте в Москве, а с 1930 до 1933 год — и в Московском геологоразведочном институте.
В 1918 году А. Д. Архангельский был введён в состав Президиума Особой комиссии при Президиуме ВСНХ по изучению Курской магнитной аномалии и руководил всей геологической частью её разведки. В результате этих работ были открыты новые железорудные районы в Курской области.
Далее он разрабатывал стратиграфическую схему и условия залегания фосфоритов Европейской части СССР, условия образования нефти на Северном Кавказе. Им была создана новая теория образования бокситов, которая способствовала открытию их новых месторождений на Урале, в Казахстане и Средней Азии.
С 1925 по 1930 он являлся заведующим геологическим отделом и заместителем директора Государственного научно-исследовательского нефтяного института, занимался изучением вопроса об условиях образования нефтяных месторождений и за исследования нефтеносной провинции Причерноморья ему была присуждена в 1928 году премия им. В. И. Ленина. В 1929 году был избран в действительные члены Академии наук СССР.
С 1931 года руководил литологическим отделом Института минералогии и геологии (ныне ВИМС — Всероссийский научно-исследовательский институт минерального сырья им. Н. М. Федоровского).
С 1934 года по 1939 год А. Д. Архангельский являлся директором Геологического института АН СССР.
В 1936 году — Председатель Казахстанского филиала АН СССР.
В 1937 году он подписал письмо, требующее расправы с Рыковым и Бухариным.
В 1939—1940 годы — Начальник комплексной экспедиции Академии наук по изучению Европейской равнины СССР.
Основные труды А. Д. Архангельского посвящены различным проблемам стратиграфии, литологии, тектоники, палеогеографии, учению о полезных ископаемых. Он изучал верхний мел и палеоген Поволжья, на основании изучения белемнитов им было предложено зональное расчленение верхнемеловых отложений, а по макрофауне и фораминиферам сделаны палеофациальные выводы относительно глубин, температуры и границ бассейнов сенонского времени. Им также были предложены (в 1912 году) приёмы детальных палеогеографических реконструкций и разработал основы сравнительно-литологического метода, опирающегося на изучение современных геологических явлений. В 1927 году открыл стоянку каменного века «Чёрная Балка» (Керченский полуостров).
Похоронен на Новодевичьем кладбище.