А. М. Пазовский родился 21 января (2 февраля) 1887 года в Перми. Обучался игре на скрипке, в 1897 году поступил в СПбК в класс П. А. Краснокутского, в 1900—1904 годах учился в классе Леопольда Ауэра.
Дирижёрскую карьеру начал в 1905 году, руководя сначала оперными оркестрами в провинциальных театрах, затем в частной опере Зимина в Москве (1908—1910), оперных театрах Харькова, Одессы, Киева до 1916 года.
С 1916 по 1918 год Пазовский был директором Петроградской народной оперы, в 1923—1924 и 1925—1928 — дирижёром ГАБТ, затем художественным руководителем оперных театров в Баку, Свердловске, Харькове и Киеве. В 1936 году получил место главного дирижёра ЛАТОБ имени С. М. Кирова в Ленинграде, где под его управлением состоялись премьеры опер О. С. Чишко «Броненосец Потёмкин» и М. В. Коваля «Емельян Пугачёв», а также многочисленные постановки произведений М. И. Глинки, Н. А. Римского-Корсакова и П. И. Чайковского.
В 1943 году стал художественным руководителем и главным дирижёром ГАБТ, но пять лет спустя из-за тяжёлой болезни был вынужден покинуть свой пост.
А. М. Пазовский умер 6 января 1953 года. Похоронен в Москве на Введенском кладбище.
Пазовский — выдающийся оперный дирижёр, его постановки отличались точностью исполнения и глубоким персональным прочтением каждой партитуры. Большое внимание уделялось репетициям, что и стало ключом к большому успеху работ Пазовского.
Свои взгляды на искусство оперного дирижирования Пазовский отразил в книге «Записки дирижёра», выпущенной в печать в 1966 году.