А. И. Геккер родился в Тбилиси в семье военного врача. Окончил в 1909 году Владимирское военное училище в Санкт-Петербурге. Участник Первой мировой войны. В 1917 году оканчивает в чине штабс-ротмистра курсы при Академии Генштаба. В сентябре 1917 года находится в составе делегации Румынского фронта на съезде в Петрограде.
После Октябрьской революции избран в декабре 1917 года Солдатским съездом начальником штаба 33-го корпуса, а затем 8-й армии. С января 1918 г. А. И. Геккер — командующий 8-й армией. Весной 1918 года он становится одним из организаторов частей Красной Армии, командующим советскими войсками на Донбассе — Донецкой армией РККА. С апреля 1918 г. — начальник штаба командующего Украинским фронтом Антонова-Овсеенко, затем — комиссар Беломорского округа, командующий Вологодским тыловым районом и Котласским районом. С декабря 1918 года — командующий Астраханским укреплённым районом, а затем — 13-й армией.
В апреле—августе 1920 года А. И. Геккер служит начальником штаба войск внутренней службы Республики, затем командует 11-й армией. С февраля по июнь 1922 г. он начальник Военной академии РККА, позднее — военный атташе в Китае. С 1929 года — военный атташе в Турции. С 1934 года — на руководящей работе в Генштабе РККА. В 1937 году арестован по сфабрикованному обвинению, осуждён Военной коллегией Верховного Суда СССР и расстрелян 1 июля на Коммунарке. Реабилитирован в 1956 году.