Родился в селе Карпенка ныне Самарской области.
Служил в Русской императорской армии с 1914 года, курсант — 3-й Петроградской школы прапорщиков, штабс-капитан. Участник Первой мировой войны, командир батальона.
В Красной Армии с июня 1918 года. В годы Гражданской войны в составе 9-й армии А. А. Гречкин воевал на Южном фронте командиром стрелкового батальона, запасного стрелкового полка.
В межвоенный период с октября 1920 года А. А. Гречкин служил в Северо-Кавказском военном округе в 37-й отдельной стрелковой бригаде, помощником командира бригады, командиром 111-го стрелкового полка. С июня 1922 года — помощник командира 37-го стрелкового полка 13-й стрелковой дивизии этого же округа, с июля 1923 года — командир Ростовского отдельного караульного батальона. С июня 1924 года — помощник командира и временно исполняющий должность командира 64-го стрелкового полка 22-й стрелковой дивизии. В 1926 году окончил Стрелково-тактические курсы усовершенствования комсостава РККА «Выстрел» имени Коминтерна. С 1926 года — командир 9-го стрелкового полка 3-й стрелковой дивизии. В апреле-июле 1931 года, командуя полком, участвовал в борьбе против басмачества в Туркестане. С декабря 1932 года — помощник командира и временно исполняющий должность командира 15-й стрелковой дивизии. 26 ноября 1935 года при введении персональных воинских званий начальствующего состава РККА А. А. Гречкину присвоено звание «комбриг». С марта 1936 года — начальник отдела военной подготовки учащихся в Киевском военном округе. С сентября 1938 года — помощник командира 13-го стрелкового корпуса. В 1939 году окончил Курсы усовершенствования высшего начальствующего состава при Академии Генштаба. С апреля 1939 года комбриг Гречкин — командир 1-й стрелковой дивизии Финской народной армии.
Участник Советско-финской войны (1939—1940). 4 июня 1940 года, после установления в РККА генеральских званий, М. Н. Герасимову присвоено звание «генерал-майор». С июля 1940 года — помощник командующего войсками Северо-Кавказского военного округа по ВУЗам.
В первые месяцы Великой Отечественной войны, оставаясь на этой должности А. А. Гречкин возглавлял руководство работами по созданию Миусского оборонительного рубежа, оборонительных обводов вокруг города Ростов-на-Дону.
В период с 3 августа по 4 сентября 1941 года А. А. Гречкин — временно исполняющий должность командующего войсками Северо-Кавказского военного округа.
В октябре назначен командующим оперативной группой 56-й отдельной армии Южного фронта, которая участвовала в Ростовской оборонительной операции. Вслед за ней началась Ростовская наступательная операция с целью разгромить немецкую 1-ю танковую армию, войска которой захватили значительную часть Донбасса и вышли на подступы к Ростову. Это создавало угрозу противника на Северный Кавказ. 56-й отдельной армии ставилась задача — прочно удерживать район городов Новочеркасск, Ростов-на-Дону, а при успешном наступлении войск Южного фронта — нанести удар в северо-западном направлении. В связи с большой шириной полосы обороны армии (до 140 км) армейской оперативной группе под командованием А. А. Гречкина пришлось в тяжелейших условиях оборонительного сражения осуществлять манёвр и вести ожесточённые бои с прорвавшимися группировками противника на ростовском направлении. Особенно тяжёлые оборонительные бои соединения оперативной группы вели 17-21 ноября, когда противнику ценой больших потерь удалось захватить город, и войска армии были вынуждены отойти на левый берег реки Дон. С 23 ноября 56-я армия была включена в состав Закавказского фронта. В Ростовской наступательной операции войска армии и её армейская оперативная группа под командованием А. А. Гречкина во взаимодействии с 9-й армией Южного фронта освободили Ростов-на-Дону.
В июне 1942 года А. А. Гречкин назначен заместителем командующего 24-й армией. С 28 августа 1942 года — командир 318-й горнострелковой дивизии, с 28 декабря 1942 года — 16-го стрелкового корпуса, с 27 февраля 1943 года — 20-го десантно-стрелкового корпуса.
В феврале 1943 года А. А. Гречкин — командующий оперативной группой армии по формированию, подготовке и высадке морского десанта в составе двух стрелковых корпусов, двух стрелковых дивизий и других армейских частей южнее города Новороссийск.
С 26 марта 1943 года — командующий десантной группой войск 18-й армии Закавказского фронта.
С 20 июня 1943 года — командующий 9-й армией Северо-Кавказского фронта, которая вела оборонительные бои, а в сентябре-октябре 1943 года приняла участие в Новороссийско-Таманской наступательной операции. 9 октября 1943 года А. А. Гречкину присвоено звание «генерал-лейтенант».
С 30 ноября 1943 года — командующий 28-й армией 4-го Украинского фронта, которая участвовала в Никопольско-Криворожской, а в составе 3-го Украинского фронта — в Березнеговато-Снигирёвской наступательных операциях. В ходе Березнеговато-Снигирёвской операции войска армии под командованием А. А. Гречкина освободили на Правобережной Украине большое количество населённых пунктов, среди них города Херсон и Николаев.
С 20 мая 1944 года — заместитель командующего войсками 3-го Прибалтийского фронта и в этой должности принимал участие в Псковско-Островской, Тартуской и Рижской наступательных операциях. Координируя действия корпусов и армий, А. А. Гречкин показал себя волевым и храбрым генералом, прекрасно понимающим характер современного боя и операций, твёрдо управляющим порученными ему войсками. 16 октября 1944 года 3-й Прибалтийский фронт был упразднён и А. А. Гречкин направлен в распоряжение Главного управления кадров Народного комиссариата обороны, с апреля 1945 года — в распоряжении Военного совета 1-го Украинского фронта.
После войны — командир стрелкового корпуса, помощник начальника Высших стрелково-тактических курсов усовершенствования комсостава РККА «Выстрел» по тактической подготовке, начальник специального факультета ускоренной подготовки Военного института иностранных языков. С 1954 года в отставке. Скончался в Москве 30 августа 1964 года.