Родился 21 августа 1872 года в семье уральских казаков. Окончил в 1891 году Оренбургский Неплюевский кадетский корпус, в 1893 году — Николаевское кавалерийское училище по 1-му разряду, а затем Офицерскую стрелковую школу. После чего служил в конном полку Уральского казачьего войска.
В январе 1903 года, «по прослушании предварительных перед переводом в Корпус жандармов курсов», он был назначен в состав формировавшегося Киевского охранного отделения. В характеристике Департамента полиции указывалось, что поручик Ерёмин обладает «особой энергией и способностью к розыску». Его участие в разработке методических рекомендаций и затем ликвидации в 1904 году " Киевского Комитета Российской Социал-демократической Рабочей Партии и «Центрального Комитета Юго-Западной Группы учащихся», были отмечены руководством, в связи с чем Департамент полиции внёс ходатайство в Штаб Отдельного Корпуса Жандармов о награждении поручика Еремина «следующим чином» досрочно.
При организации в г.Николаеве Охранного отделения, Штабс-ротмистр Ерёмин был назначен его начальником. Характеристикой деятельности Ерёмина могут служить слова градоначальника г. Николаева, который 28 января 1905 года писал министру внутренних дел Российской Империи: "…Судя по приведенным примерам успешного предотвращения крайне опасных народных волнений, а также и по другим, бывшим в последнее время случаям такого же характера, я считаю своим нравственным служебным долгом засвидетельствовать, что только лишь благодаря назначению в Николаев для заведования делами политического розыска штабс-ротмистра Ерёмина А. М., в высшей степени энергичного и способного офицера, «борьба с враждебными антиправительственными элементами в Николаеве сделалась вполне успешной и во всех случаях попытки к нарушению государственного порядка и общественного спокойствия… прекращаются всегда в самом зародыше».
Спустя полтора года, в связи с тяжёлым ранением начальника Киевского охранного отделения Спиридовича А. И., Ерёмин А. М. назначается на должность начальника этого отделения. Сослуживцы отмечали прирождённый талант Ерёмина к розыскной деятельности, «справедливую суровость» к своим подчинённым, необыкновенную личную храбрость. Бывший Киевский,Подольский и Волынский генерал-губернатор, впоследствии военный министр Сухомлинов В. А. в письме на имя командира Отдельного корпуса жандармов 3 мая 1906 года писал: «…ротмистр Ерёмин, своею выдающеюся энергиею, беззаветною преданностью порученному ему делу, самоотверженно подающий всегда личный пример в самых опасных случаях, вынуждает меня, по долгу службы обратить внимание на этого достойного офицера и ходатайствовать об исключительном награждении его — производством в следующий чин…» Это ходатайство было поддержано Департаментом и Ерёмину 17 сентября 1906 года был присвоен чин подполковника. В этом чине в 1906 году он был приглашён в Департамент полиции, в качестве руководителя одного из отделений Особого отдела.
12 января 1908 года был откомандирован на Кавказ, с назначением на должность начальника Тифлисского губернского жандармского управления, а 8 февраля 1908 года произведён в чин полковника.
С 21 января 1910 года в должности заведующего Особого отдела Департамента полиции Российской империи. В течение двух с половиной лет, Ерёмин возглавлял Отдел. Он пользовался авторитетом, «имел большой вес» в верхах, как свидетельствовал на допросе в Чрезвычайной следственной комиссии Временного правительства в 1917 г. бывший вице-директор Департамента Виссарионов С. Е. По его словам, «Ерёмин лично имел доклады директору и товарищу министра внутренних дел».
11 июня 1913 года, получил назначение на должность начальника жандармского управления Великого княжества Финляндского. 6 декабря 1915 произведён в чин генерал-майора.
После Октябрьской революции генерал-майор Ерёмин А. М. находится в Уральске. Занимал должность помощника начальника штаба Уральского казачьего войска, курировал вопросы разведки, контрразведки, пропаганды и связи. С марта 1919 г. сопредседатель комиссии для расследования обстоятельств эвакуации из Уральска и виновности должностных лиц. Возглавлял Управление генерал-квартирмейстера Уральской армии. Принимал участие в отходе остатков армии из Гурьева в форт Александровский, а затем в походе из форта Александровского в Персию. Умер в июне 1920 года от истощения, после болезни персидской малярией. Похоронен в г.Шахруд (расположен в остане (провинция) Семнан).