Из дворян Московской губернии. Родился в семье состоятельного и европейски образованного дворянина. Получил домашнее образование, учился в Сухопутном шляхетском кадетском корпусе, который окончил в конце 1796 г. 2 апреля 1797 зачислен подпоручиком в л.-гв. Семёновский полк. Жена из рода Дурасовых - Дурасова, Агриппина Михайловна (? - 1877).
За отличие в сражении при Аустерлице получил чин капитана, а за храбрость, оказанную под Фридландом, произведён 17 августа 1807 в полковники.
В начале 1812 г. л.-гв. Семеновский полк, в составе которого служил Писарев, в составе 1-й бригады гвардейской пехотной дивизии входил в 5-й резервный (гвардейский) корпус 1-й Западной армии. Сражался при Бородине, Малоярославце и под Красным. 21 января 1813 назначен командиром Киевского гренадерского полка.
За отличие в сражении под Люценом произведён в генерал-майоры 15 сентября 1813, командовал бригадой во 2-й гренадерской дивизии. За храбрость награждён 9 мая 1813 орденом Св.Георгия 4-го кл.
Под Лейпцигом ранен в правую ногу. За участие во взятии Парижа награждён 5 мая 1814 орденом Св.Георгия 3-го кл. № 373
15 августа 1815 был из-за ран освобожден от занимаемой должности. 20 сентября 1821 был назначен начальником 10-й пехотной дивизии. В отставку вышел с мундиром 1 января 1823, в тот же день избран президентом Московского общества любителей истории и древностей Российских.
Через год назначен попечителем Московского учебного округа и университета. В 1825—1830 гг. президент МОИП. 30 декабря 1829 уволен от должности попечителя и назначен сенатором с пожалованием в тайные советники. В члены Совета по управлению Царством Польским определён 1 января 1836. Назначен варшавским военным губернатором и переименован в генерал-лейтенанты 25 марта 1840. 30 декабря 1845 снят с губернаторской должности и зачислен в Московский департамент Сената. 15 июля 1847 вышел в отставку из-за преклонных лет. Известен как один из первых историков Отечественной войны 1812 г.
Её он начал в 1802 г., писал басни, сатиры, позже — военно-патриотические оды, гимны, «хоры», печатался в журналах. В 1804 г. был принят в Вольное общество любителей словесности, наук и художеств, но по своим взглядам и вкусам расходился с другими его членами. Написал три книги по вопросам искусства, в 1817 напечатал «Военные письма и замечания, наиболее относящиеся к незабвенному 1812 году», а в 1825 — сборник «Калужские вечера, или Отрывки сочинений и переводов в стихах и прозе военных литераторов». В оба издания вошли и стихотворения самого Писарева.