Абакумов родился в большой купеческой семье. Его отец, Иван Абакумов, в торговле не слишком успевал, семейство жило бедно. В те времена у бедных мальчиков из глубинки было всего два способа выбиться в люди: пойти в попы или попытаться добиться успеха на военном поприще. На семейном совете Андрюшу решили отправить в Преображенский полк писарем..
Службу начал писарем рядового звания лейб-гвардии Преображенского полка в 1787 году и лишь через 15 лет был произведен в первый классный чин. В 1812 году, состоя в комиссии Московского провиантского депо, Абакумов был командирован в действующую армию и назначен обер-провиантмейстером 4-го пехотного корпуса. В 1813 году Абакумов назначен обер-провиантмейстером всех авангардных войск, a в 1815 году ему было вверено исполнение должности полевого генерал-провиантмейстера, с награждением чином V-го класса. В 1816 году Абакумов был определен генерал-провиантмейстером и директором провиантного департамента военного министерства. Назначение на эту должность Абакумова совпало с обнаружением больших злоупотреблений в провиантном ведомстве. Почти все неприкосновенные запасы считались израсходованными, и для выяснения наличности расходных запасов нужно было немедленно произвести ряд ревизий, которые и выяснили крупные хищения. Неблагоприятное положение усиливалось ещё запутанностью счетной части. В департаменте не велся даже счет сумм, недополученных от казенных палат, вследствие чего нередки были случаи, что нуждались в деньгах, не зная, что имеются остатки денег за несколько лет в казенных палатах. На долю Абакумова выпал громадный труд по приведению в порядок находившегося в полном расстройстве ведомства, но он успешно справился с возложенной на него задачей. Расследовав злоупотребления и отдав под суд виновных, он сделал немало преобразований в подчиненных ему органах. С воцарением императора Николая I-го Абакумов, произведенный в день коронации, 22 августа 1826 года, в тайные советники с назначением сенатором, управлял ещё год провиантной частью. В 1828 году Абакумов был назначен главноуправляющим продовольственной частью действующей армии и в июне того же года Высочайше пожалован табакеркой «за безостановочное и во всех отношениях исправное довольствие войск». Закончив благополучно Турецкую кампанию, Абакумов был назначен генерал-интендантом действующей армии в Польше, в 1831 году. Продовольственный план в эту кампанию был основан Абакумовы на том, чтобы все продовольствие получалось, главным образом, посредством реквизиций. Недоброжелательное отношение землевладельцев, не хотевших отдавать запасы по квитанциям из боязни неуплаты за них денег, сделало все реквизиции безуспешными, почему явилась необходимость в производстве фуражировок, которые по существу были теми же реквизициями, с тою только разницею, что производились без посредства земских властей, самими войсками. Так как при фуражировках не обходилось без злоупотреблений и беспорядков и главнокомандующий генерал Дибич настаивал на прекращении такого способа снабжения, Абакумов же не считал возможным от него отказаться, то он и подал просьбу об увольнении его от должности генерал-интенданта.
Возвратясь после отставки в Санкт-Петеребург, Абакумов уже не служил по военному ведомству, оставался сенатором. В Сенате Абакумов занимал должность первоприсутствующего во 2-м отделении 3-го департамента, до самой смерти. При торгах по питейному откупу присутствовал в 1-м департаменте Сената, оберегая выгоды казны .
С 1832 года по 1841 состоял членом Английского собрания Петербурга .
Последние десять лет своей жизни Абакумов прожил в Петербурге. За две недели до смерти пишет духовное завещание, по которому все свое имение Абакумов отдал своему единственному внуку, Андрею Ивановичу Раздеришину. 4300 рублей серебром Абакумов положил в банк на «вечное» содержание торопецкой церкви Вознесения Господня, найма священнослужителей и вечного помина родных и близких. Всем своим крепостным, согласно завещанию, Абакумов предоставил полную свободу. Он поименно всех называет, и каждому начисляет определенную сумму вознаграждения за верную службу .
Похоронен в Торопце на кладбище, расположенном вокруг церкви Вознесения Господня в западной части города. Если подняться по крутым ступенькам к церкви и начать обходить её справа налево, то на южной стене вы увидите табличку с такой надписью: «Здесь похоронен Андрей Иванович Абакумов, сенатор, 1772 — 1841 гг.» .
Могилу Абакумова нашли совсем недавно реставраторы, когда наткнулись на вход в склеп неподалеку от алтаря. Вошли внутрь и увидели там три гроба: два совсем ветхие, а один – как новый. Возле гроба табличка, из которой выяснили, что внутри тайный советник Абакумов. Приоткрыли гроб – обнаружилось, что мундир и награды легендарного торопчанина в отличном состоянии. Видимо, потому оболочек у саркофага всего три: сначала деревянная, затем цинковый футляр, а потом снова деревянная .