В военную службу вступил в 1795 году, служил в Кинбурнском драгунском полку. В 1800 году произведён в майоры и в 1808 году получил чин подполковника.
26 января 1810 года назначен командиром Ямбургского уланского полка. 7 октября 1812 года произведён в полковники.
Во время Отечественной войны 1812 года Столыпин блестяще проявил себя в сражении 26 октября под Витебском и за отличие был генералом Витгенштейном представлен к ордену св. Георгия 4-й степени. Однако император Александр I своим рескриптом от 31 июля 1813 года заменил 4-ю степень ордена св. Георгия на 3-ю степень (№ ___ по кавалерскому списку Григоровича—Степанова)
В Заграничных кампаниях 1813 и 1814 годов Столыпин особенно отличился под Данцигом.
1 июня 1815 года Столыпин был переведён на должность командира в Оренбургский уланский полк и здесь он находился до 19 июля 1818 года, когда был произведён в генерал-майоры.
С 1826 года, состоя в чине генерал-лейтенанта, был начальником 3-й уланской дивизии.
В конце весны 1830 года он находился в Севастополе на губернаторской должности, когда там вспыхнул бунт, и был растерзан толпой, 18 июня исключён из списков умершим.
В. В. Крестовский оставил следующую характеристику Столыпина: «это был человек очень умный, бескорыстный, большой стоятель за полк, и за честь мундира, барин по происхождению, солдат по жизни, и настоящий джентльмен по характеру и убеждениям».
Родился в 1781 году, сын Пензенского губернского предводителя дворянства отставного поручика Алексея Емельяновича Столыпина от брака с Марией Афанасьевной урождённой Мещериновой. Его братья и сёстры: