Родился 16 октября 1869. Приписной и почетный казак станиц Усть-Хопёрской и Нижне-Чирской.
На военной службе с 1888. Окончил Николаевское кавалерийское училище (1890). Первое образование получил в кадетском корпусе; в 1890 из взводных портупей-юнкеров Николаевского кавалерийского училища выпущен корнетом в Лейб-Гвардии Конно-гренадерский полк; через три года перевёлся в Харьковский драгунский полк, но вскоре отчислен в запас армейской кавалерии; в 1899 по особому ходатайству принят в штат офицеров Войска Донского и командирован на службу в 3-й Донской казачий полк.
В 1904 есаул Мамонтов ушёл добровольцем на Японский фронт и провёл войну в рядах 1-го Читинского Забайкальского казачьего полка в составе Отдельной Забайкальской казачьей бригады генерала П. И. Мищенко. В чине войскового старшины возвратился в Донское Войско на должность помощника командира 1-го Донского казачьего полка.
В 1914 вышел на фронт Первой мировой войны во главе 19-го Донского казачьего полка, через год получил первоочередной 6-й Донской казачий полк, а после производства в чин генерал-майора принял от генерала И. Д. Попова бригаду в 6-й Донской казачьей дивизии.
После революции 1917 и развала фронта генерал Мамонтов возвратился с бригадой на Дон и квартировал в станице Нижне-Чирской, где в январе 1918 сформировал партизанский отряд и пробился с ним между большевиками в Новочеркасск. 12 февраля он вышел в Степной поход начальником группы партизанских отрядов и неоднократно бил нарождающиеся полки красной конницы Будённого и Думенко .
4 апреля того же года генерал Мамонтов выступил со своим отрядом на помощь восставшим против большевиков станицам Второго Донского округа, и тогда станица Нижне-Чирская провозгласила его своим почётным Казаком. Остальные месяцы 1918 он командовал сборными станичными полками и дружинами на Царицынском направлении.
После образования ВСЮР и переформирования Донской армии с 23 февраля 1919 года — командующий 1-й Донской армией. Затем командир 2-го сводного казачьего корпуса. В июле 1919 назначен командиром 4-го Донского конного корпуса.
Осенью 1919 генерал-лейтенант Мамонтов получил назначение на пост командующего конной группы, в состав которой входили 4-й конный корпус Мамонтова, остатки 3-го конного корпуса Шкуро и сводная кавалерийская дивизия.
В декабре месяце по неизвестным соображениям группа была передана в распоряжение командующего Кавказской армией барона Врангеля. Последний нашёл нужным отобрать командование группой от генерала Мамонтова, оставив его командиром 4-го конного корпуса и подчинив младшему по службе генералу Улагаю. Обиженный назначением генерала Улагая, Мамонтов 7 декабря 1919 года, когда генерал Улагай фактически ещё не вступил в командование группой, бросил свой корпус и всю группу и уехал на станцию Лиман. Отъезд его произвел крайне неблагоприятное впечатление на донцев и остальные части, что привело к отступлению белых. 9 декабря генерал Мамонтов телеграфировал:
Донской атаман А. П. Богаевский и командующий Донской армией генерал-лейтенант Сидорин В. И. его поддержали, но потребовался недельный обмен телеграммами, прежде чем генерал Деникин пошёл на уступки. Наконец Донские части, входившие в конную группу, были изъяты из рядов Добровольческой армии и возвращены под команду оскорблённого генерала Мамонтова, который после этого нанёс ряд поражений коннице Будённого.
В начале января 1920 генерал Мамонтов выехал в Екатеринодар для участия в заседаниях Верховного Круга Дона, Кубани и Терека, где его встретили восторженными овациями. Круг готов был, устранив Деникина и Врангеля, передать ему главнокомандование всеми казачьими армиями. Это могло поправить дела на фронтах, так как генерал Мамонтов пользовался у казаков огромным авторитетом и смог бы укрепить утраченный в неудачах дух бойцов. Но он заболел тифом и должен был оставаться в госпитале.
Благополучный кризис наступил после долгой и тяжёлой болезни. К генералу начали возвращаться силы и консилиум врачей решил, что через два-три дня он мог бы выехать в батумское имение жены. Поэтому его неожиданная смерть поразила всех и вызвала подозрение, что тут действовала злая воля каких то казачьих врагов, может быть даже соперников по командованию. Проверить эти подозрения тщательным следствием никто не пытался, хотя профессор Сиротинин, освидетельствовавший его незадолго перед смертью, тоже предполагал отравление.
Генерал Мамонтов умер в полдень 1 февраля 1920 и погребён в усыпальнице Екатеринодарского собора св. Екатерины, в Екатеринодаре.
Тайна смерти Мамонтова отчасти приоткрылась после разоблачений его жены Е. В. Мамонтовой, опубликованных в журнале «Родимый Край» № 52 (май-июнь 1964 года). Она категорически утверждает, что её муж был отравлен и что яд был вспрыснут ему под кожу в её присутствии, несмотря на её сопротивление, в ночь на 31 января, одним из фельдшеров, который тотчас же скрылся из госпиталя. Пока остается не выясненным, кто руководил действиями этого тайного агента, белые ли враги генерала или красные враги казачества.
Во время борьбы против большевиков генерал Мамонтов считался одним из лучших вождей Донской армии. Многие его достоинства, так же, как и его популярность среди казаков, большое значение его рейда по тылам, признавали и его враги. Подобной славой и преклонением у рядовых казачьих масс пользовались лишь немногие начальники-генералы, как А М. Каледин, А. К. Гусельщиков, П. Н. Краснов, А. Г. Шкуро, С. В. Павлов (походный атаман). Казакам было трудно примириться с его потерей.
Имя Мамонтова носил легкий бронепоезд Донской армии (бронепоезд «Генерал Мамонтов»)