В 1870 году окончил Училище правоведения. Служил в Министерстве юстиции. В 1889—1903 годах — петербургский гражданский губернатор.
С 1895 председатель петербургского отделения Всероссийского общества спасения на водах.
Содействовал развитию здравоохранения и народного образования в городе и губернии: при участии Толя учреждены 12 больниц разного профиля, в том числе больница для душевнобольных в с. Сиворицы Царскосельского уезда (1899), организовано Общество по борьбе с проказой, открыты больница и лепрозорий в имении императрицы Марии Федоровны в Ямбургском уезде, созданы многочисленные бесплатные библиотеки при сельских школах, богадельня в Кронштадте (1890), школа огородничества в Павловске (1892), молочная ферма в Лесном (1897), детские приюты на Среднем проспекте Васильевского острова (1900) и на Петербургской стороне (1903). В 1901 начато строительство городской детской больницы на Литовской улице. (открыта в 1905).
В 1903 начаты работы по электрификации Гатчины.
С 1903 года — член Государственного совета. Активный деятель монархической организации «Русское собрание», с 1914 по ноябрь 1916 года состоял в Совете. С октября 1914 — председатель Особого отдела при Управлении главноуполномоченного Красного креста по Северному району. В Петербурге жил на Почтамтской ул., 8, летом в имении в селе Лесище Михайловского уезда Рязанской губернии.
После октябрьской революции 1917 арестовывался ПетроЧК, был объявлен заложником.
Жил в эмиграции в Германии, скончался в 1923 г. в Баден-Бадене.
Был женат на Софье Дмитриевне Толстой.