Аркадий Алексеевич был пятым из одиннадцати детей Алексея Емельяновича Столыпина (1744—1817) и Марии Афанасьевны, урождённой Мещериновой. Его старшей сестрой была Елизавета (1773—1845), бабка М. Ю. Лермонтова.
Напечатал в «Приятном и полезном препровождении времени» (1794—95) следующие произведения:
Похоронен в Петербурге на Лазаревском кладбище.
Аркадий Алексеевич был женат на Вере (1790—1834), дочери знаменитого адмирала Н. С. Мордвинова. В браке родились: