Побочный сын графа Алексея Кирилловича Разумовского от мещанки Марии Михайловны Соболевской. Считался воспитанником графа, получил свою фамилию от имения Разумовского под Москвой — Перова.
Окончив курс в Московском университете, служил колонновожатым в свите Его Величества, во время Отечественной войны принимал участие в битвах при Бородине, Малоярославце, Вязьме и Красном. Участвовал в заграничных походах 1813—1814 годов. Был ранен. В 1818—1823 годах обер-квартирмейстер 1-го резервного кавалеристского корпуса в 1818—23. Перейдя на гражданскую службу, был членом, потом вице-президентом Департамента уделов, сенатором, товарищем министра уделов.
В 1833 году курировал возведение Воскресенской церкви при больнице Святого Пантелеймона.
В 1841 году назначен министром внутренних дел с сохранением должности товарища министра уделов. При нем учреждена особенная канцелярия министра, преобразован медицинский совет, издано (в 1846 году) новое положение об общественном управлении в Санкт-Петербурге.
В 1852 году он был назначен министром уделов и управляющим Кабинетом Его Величества с подчинением ему Академии художеств, московских Дворцового архитектурного училища и Художественного училища и Ботанического сада.
В 1855 году, при образовании из охотников от удельных крестьян Стрелкового полка императорской фамилии, Перовский был поставлен во главе этого полка и переименован в генерала от инфантерии, а в 1856 году пожалован в генерал-адъютанты.
Ему принадлежит ряд преобразований в управлении и устройстве удельных крестьян. Довольно значительной была деятельность Перовского и в комиссиях по крестьянскому вопросу, результатом которой была его «Записка» (см. «Девятнадцатый век» Бартенева). Признавая уничтожение крепостного права весьма желательным, он советовал освободить крестьян с землёй (но так, чтобы не «обеднить» помещиков), в правах сравнять их с государственными крестьянами и действовать путём постепенного изменения, предварительно приняв меры к улучшению местного управления и особенно земской полиции, к устройству и уравнению повинностей денежных и натуральных и к обеспечению народного продовольствия.
Заведуя с 1850 года Комиссией для исследования древностей, Перовский устроил археологические раскопки в обширных размерах. Он составил обширные коллекции греческих древностей и монет (переданы в Императорский Эрмитаж) и богатое собрание старинного русского серебра (описано П. Савельевым в «Известиях Имп. Русс. археологического общества», т. I, вып. I) и русских монет и медалей (описаны в «Журнале Министерства народного просвещения», ч. XCIV).
В его честь назван обнаруженный в 1839 году в Уральских горах минерал перовскит.