Родился в Моршанском уезде Тамбовской губернии. Начал службу в 1797.
В русско-турецкой войне 1806-1812 гг. сражался в Молдавии и Валахии. В 1811-1812 гг. являлся правителем канцелярии М.И.Кутузова. Неоднократно выполнял дипломатические поручения. 18 июля 1811 награждён орденом св. Георгия 4-го кл. № 1005
В 1812 был дежурным генералом армии. Осенью 1812 г. определен начальником авангарда казачьего корпуса генерала М.И.Платова. Награждён 25 марта 1813 орденом св. Георгия 3-го кл. № 284
В 1813 стоял во главе летучего партизанского отряда. В 1814, командуя конным отрядом, Кайсаров обратил на себя внимание смелостью предпринимаемых рейдов и точностью доставляемых сведений. Именно ему союзники были обязаны получением важного известия о движении Наполеона к г. Арси-сюр-Об. Когда Платова вызвали на Главную квартиру, командовал всем казачьим корпусом.
В марте 1831 он был назначен командующим 3-м пехотным корпусом, с частью которого действовал против поляков в южной части Люблинской губернии и держал в блокаде крепость Замостье. После этого, до самой смерти, Кайсаров командовал 5-м пехотным корпусом.
Именем Паисия Кайсарова названы: