Из дворянского рода молдавского происхождения. Его отец — Абаза, Михаил Агеевич (1825—1859) был убит на дуэли. Мать — Золотарёва Александра Алексеевна (с 1866 года вторично замужем за графом Львом Алексеевичем Бобринским). Племянник министра финансов России А. А. Абазы.
Образование получил в Морском кадетском корпусе.
1873 — юнкер Балтийского флота с 1 мая. Совершил учебный поход в Финском заливе на фрегате «Севастополь».
1873—1874 — участвует в средиземноморском походе на фрегате «Князь Пожарский».
1874—1879 — совершает кругосветное плавание на корвете «Баян».
1875 — 5 декабря произведён в гардемарины.
1876 — с 11 сентября мичман. Награждён в Японии орденом «Восходящего солнца». Флаг-офицер начальника отряда судов Тихого океана Асланбегова. В плаваньях на кораблях: крейсере «Азия», фрегате «Минин», клипере «Наездник», фрегате «Князь Пожарский».
1881 — с 1 января — лейтенант.
1882 — награждён орденом св. Станислава 3-й степени. Служит на крейсере «Африка».
1883 — в походе на клипере «Соболь» в Татарском проливе и за границей.
1885 — служит на фрегате «Дмитрий Донской» и яхте «Стрельна».
1886 — отбывает в Германию (Эльбинг) для организации проводки речными путями в Чёрное море трёх миноносцев. Командируется морским ведомством для сопровождения главноуправляющего (адмирала И. А. Шестакова) в поездке по портам Восточной Сибири. Возвращается с Дальнего Востока на пароходе Доброфлота «Москва», завершив кругосветное путешествие. Заведует паровыми катерами «Прибой» и «Светлана».
1887 — в компании на Балтике на кораблях: яхта «Стрельна», миноноска № 139, крейсер «Азия», фрегат «Генерал-адмирал».
1888 — служит на яхте «Стрельна».
1889 — адъютант в свите генерал-адмирала великого князя Алексея Александровича посещает Черноморский флот, совершая выходы в море на пароходе «Эриклик» и эскадренном броненосце «Екатерина Вторая».
1890 — присвоено звание капитана 2-го ранга.
1892—1894 — старший офицер корвета «Витязь», командир крейсера «Азия».
1895 — капитан 1-го ранга со 2 апреля. Направлен во Францию для наблюдения за постройкой крейсера «Светлана» и командует им по 1899 год. Назначается командиром Гвардейского флотского экипажа.
1901 — с 1 апреля — контр-адмирал.
1902 — назначен в свиту Его Императорского Величества 6 мая 1902 года. С 10 ноября — помощник начальника министерства торгового мореплаванья и портов. Командует учебным отрядом Морского кадетского корпуса.
1903 — с 20 января исполняющий обязанности заместителя начальника Министерства. С 10 октября назначен управляющим Особым комитетом по делам Дальнего Востока. Пользовался правом личного доклада Императору Николаю II. Наряду со своим двоюродным братом, статс-секретарём А. М. Безобразовым, имел большое влияние на дипломатическую работу с Японией, фактически оттеснив МИД. Так называемая «безобразовская клика», уверенная в слабости Японии, вела переговоры с позиции силы, что в результате способствовало развязыванию войны. При этом, записка, представленная Абазой Николаю II в марте 1903, по словам С. Ю. Витте, фактически решила вопрос о начале войны.
1904 — осенью «инкогнито» направлен в Западную Европу для организации закупки через третьих лиц семи южноамериканских крейсеров («Гарибальди», «Генерал Сан-Мартин», «Пуэйредон», «Генерал Бельграно» — в Аргентине и «О’Хиггинс», «Эсмеральдо», «Чакабуко» в Чили) для ведения военных действий против Японии. Миссия закончилась провалом.
1905 — 13 июня отчислен от должности управляющего делами «Особого комитета по Дальнему Востоку» за упразднением последнего, с оставлением в свите Императора и в Гвардейском экипаже, после чего влияние Абазы на государственные дела сошло на нет.
В. И. Гурко, современник А. М. Абазы, так характеризует его:
Дети: Жена - Наталия Федоровна, урожденная Василькова (? - после 1930, Франция).