Из старинного княжеского рода, ведущего начало от Великого князя литовского Гедимина. В трехлетнем возрасте записан в л.-гв. Преображенский полк и 1 января 1793 выпущен в армию с чином поручика.
Подполковником Таврического гренадерского полка получил боевое крещение при Аустерлице в 1805 г. С 23 апреля 1806 — полковник. Сражался под Голыминым, в бою при Прейсиш-Эйлау заменил раненого командира полка и был 26 апреля 1807 награждён орденом Св. Георгия 4-го кл.
Будучи переведён в Перновский мушкетерский полк, участвовал с ним в бою под Гейльсбергом, через три дня был ранен пулей в левую руку под Фридландом. Шефом Днепровского мушкетерского полка был назначен 27 июня 1807. С 1810 г. с полком принял участие в русско-турецкой войне. В числе первых шёл на штурм Базарджика, прокладывая путь остальным войскам. 14 июня 1810 произведён в генерал-майоры. Отличился под Варной, Шумлой и Батином, где был ранен пулей в правую ногу.
В начале 1812 г. Днепровский пехотный полк, шефом которого был Хованский, в составе 2-й бригады 18-й пехотной дивизии входил в корпус С. М. Каменского 3-й Резервной Обсервационной (с 18 сентября 1812, после объединения с Дунайской армией — 3-й Западной) армии. Хованский командовал также и этой бригадой.
С началом военных действий состоял то в авангарде, то в арьергарде, а после соединения с Дунайской армией вошел в состав главных сил, закончив войну в Вильно. В заграничном походе 1813 года командовал 12-й пехотной дивизией, отличился в Лейпцигской битве, отбив у французов деревню Гольцгаузен, захватив два орудия и взяв приступом Гримское предместье, множество пленных и 27 зарядных ящиков. Награждён 14 октября 1814 года орденом Святого Георгия 3-го класса № 381
Не менее успешно дивизия Хованского действовала и в 1814 году, сражаясь под Краоном и у деревни Класси. Награждён чином генерал-лейтенанта 30 августа 1814 года.
Вернувшись в Россию, командовал 23-й пехотной дивизией. В 1821 году был введен в Сенат, через два года стал генерал-губернатором Витебской, Могилевской и Смоленской губерний. В генералы от инфантерии пожалован 25 августа 1828 года, через восемь лет (1836) стал членом Государственного Совета. Принимал активное участие в подготовке к открытию Полоцкого кадетского корпуса (1835).
Похоронен в Петербурге на Тихвинском кладбище Александро-Невской лавры.