Получив дома классическое образование, выдержал экзамен при Московском университете и поступил на службу в коллегию иностранных дел в 1819 г. В 1824 г. назначен секретарём посольства в Мадриде. В турецкую войну 1828—29 гг. служил в походной канцелярии министерства иностранных дел; после окончания войны отправлен в Грецию поверенным в делах. В 1831 г. назначен помощником статс-секретаря государственного совета; в 1832 — товарищем министра юстиции; в 1839 — управляющим министерством юстиции; в 1841 г. утверждён министром; пост министра занимал до 1862 г., когда был уволен, с оставлением членом госуд. совета. С 1864 г. был главноуправляющим II отделением Собств. Его Имп. Вел. Канцелярии. Во время своего долговременного пребывания на посту министра юстиции граф П. оставался ревностным охранителем того дореформенного порядка, который рушился с изданием судебных уставов 20 ноября 1864 г. Совершенно не понимая живую действительность практической жизни, он относился ко всему с формальной точки зрения; в его ведомстве царила письменность, составлявшая главное зло тогдашнего судопроизводства; даже введение личных докладов казалось большим шагом вперёд. Он был решительным противником реформ в своём ведомстве и вышел в отставку вскоре после утверждения основных начал нового судопроизводства и судоустройства. П. был убеждённым противником отмены телесных наказаний; принятие государственным советом закона об уничтожении телесных наказаний послужило ближайшим поводом к его отставке. П. доказывал, что эта мера преждевременна и не соответствует степени развития и образования народа.
В деле освобождения крестьян П. сыграл роль тормоза великой реформы. Ещё в царствование Николая I, П. выразил своё отношение к этому вопросу. Когда возникло предположение разрешить крестьянам приобретать недвижимую собственность, закончившееся изданием в 1847 г. закона, разрешавшего такое приобретение, П. высказался за предоставление крепостным этого права, но распоряжаться своим имуществом они должны бы, по его мнению, лишь с согласия помещиков. До того крестьяне приобретали недвижимость на имя своих помещиков, что было источником злоупотреблений; помещики часто распоряжались таким имуществом, как собственным. Так случилось в деле гр. Самойловой со своими крестьянами, в котором П. высказался в пользу помещицы. Будучи членом секретного, а с 1858 г. — Главного комитета по крестьянскому делу, П. энергично старался затормозить дело освобождения крестьян; в особой комиссии, занимавшейся рассмотрением проектов губернских комитетов, членом которой был П., явилась идея поставить всю Россию на военное положение при введении реформы, но она не была принята. После смерти Я. И. Ростовцева, П. был назначен в 1860 г. председателем редакционных комиссий. Это известие произвело тягостное впечатление на членов комиссии; можно было рассчитывать на П. только как на беспрекословного исполнителя воли Государя. Действительно, П. получил от Государя это назначение с поручением довести дело до конца в том духе, в каком оно велось до того времени. Исполняя поручение, П. соблюдал строгий нейтралитет между партиями и воздерживался от проведения своих взглядов. Главным содержанием его взглядов было желание оградить интересы помещиков, сохранить за ними полную собственность на надельные земли, права вотчинной полиции и власть над крестьянскими выборными властями. Вследствие столкновения, происшедшего между П. и прочими членами, он не присутствовал на последнем заседании. В Главном комитете П. настоял на понижении максимума надела.
П. напечатал в «Чтениях» московского общ. ист. и древн. за 1867 г. «Краткую историю Елизаветы Алексеевны Таракановой» и отдельно (М., 1867) «О самозванке, выдававшей себя за дочь имп-цы Елисаветы Петровны», также несколько документов из своего семейного архива в «Русском Архиве» (1871), в «Сборнике Русского Исторического Общества» (т. V и VI). Ср. Колмаков, «Гр. Панин», в «Русской Старине» (1887, № 11—12) и Н. П. Семенова, в «Русском Архиве» (1887, № 11). Об отношении гр. П. к крестьянскому вопросу в царствование Николая I — см. В. И. Семевский, «Крестьянский вопрос в России в XVIII в. и в первой половине XIX в.»; Джаншиев, «Из эпохи реформ».