Из небогатой дворянской семьи. Отец — уездный казначей. Получил домашнее воспитание, учился в Пензенской гимназии. С 1832 жил в Санкт-Петербурге, служил в Департаменте государственных имуществ. С 1843 заведовал делами князя А. И. Барятинского, живя в его курских поместьях. В 1852—1856 служил по почтовому ведомству, затем был сначала вице-директором, позже директором канцелярии кавказского наместника князя А. И. Барятинского (1857—1862); московский почт-директор (1866—1872); тайный советник (1878).
Дебютировал в печати «Очерком истории рода князей Барятинских» (1860). Печатал статьи на темы почтового ведомства. По совету В. Ф. Одоевского начал писать мемуарные «Записки». Полные интереса, обширные «Записки» Инсарского появились частично в «Русском архиве» (1868, 1869, 1873, 1874) и «Русской старине» (1874 — «Тревоги в театральном управлении, 1853 г.» — и 1894). Издал также книгу о своём детстве «Половодье. Картины провинциальной жизни прежнего времени» (Санкт-Петербург, 1875).
В мемуарах, среди прочего, описал своё знакомство с В. Г. Белинским, М. Ю. Лермонтовым, Н. А. Некрасовым, А. П. Брюлловым, М. И. Глинкой. «Записки» и «Половодье» отличаются литературными достоинствами; в них усматривается умение «показать характер описываемого лица, пластичность описаний, тонкий юмор, широта охвата событий», благодаря чему его книги стали «заметным явлением рус. мемуарной лит-ры» XIX века (А. И. Рейтблат).