Родился в селе Озерецком в семье священника Якова Озерецковского в 1758 году. Брат академика Николая Яковлевича Озерецковского и переводчика, священника Кузьмы Яковлевича Озерецковского. Как и его братья, получил образование в семинарии Троице-Сергиевой лавры. Блестяще окончив курс, был назначен профессором философии и префектом в Переславскую семинарию, а по её упразднении в 1788 году переведён на ту же должность в Коломенскую духовную семинарию. В Коломне П.Я.Озерецковский вскоре был рукоположен в священники и определён присутствующим в Коломенской консистории, в каковой должности состоял до 1795 года, когда, возведённый в сан протоиерея, был назначен настоятелем Троицкого собора в Серпухове. Около этого времени открылась вакансия священника при церкви Митрополита Петра в Академии наук, и П.Я.Озерецковский, при содействии своего брата, тогда уже академика, был определён к означенной церкви 16 января 1797 года, а через два месяца стал и присутствующим Санкт-Петербургской духовной консистории. В том же году он был назначен полевым обер-священником и вскоре обратил на себя внимание императора, который приблизил его к себе, и П.Я.Озерецковский во всё время царствования Павла I пользовался исключительным положением при дворе. Император в день представления ему избранных полевых обер-священников и подчинённых им полковых священников посвятил П.Я.Озерецковского в свои планы об устройстве особого самостоятельного управления военным духовенством под непосредственным высочайшим наблюдением и вверил ему это дело, наградил крестом Мальтийского ордена и предоставил право доступа к государю во всякое время дня и ночи. 6 апреля 1799 года П.Я.Озерецковский по высочайшему повелению был назначен присутствующим в Синоде, 4 декабря награждён митрой и крестом, а 9 апреля 1800 г. назначен обер-священником всей армии. Таким образом, состоялось отделение в управлении военного духовенства от епархиального, постепенно слагавшееся под влиянием походной жизни. П.Я.Озерецковский дал этому духовенству прочную организацию и довольно значительную самостоятельность даже в ущерб значению Синода. Обладая выдающимся умом, энергией и практическим тактом, он составлял один за другим проекты по различным вопросам, представлял их к одобрению государя и уже в первый год сделал много для улучшения условий жизни подчинённого ему духовенства. В целях приготовления военных священников он задумал учредить армейскую семинарию, в которой кандидаты на эти места воспитывались бы под его ближайшим наблюдением. П.Я.Озерецковский составил проект, который императором Павлом I был утверждён и удостоен похвального отзыва, для семинарии назначено здание Тверского подворья на Васильевском острове, подобраны преподаватели. 4 июля 1801 года семинария открылась. П.Я.Озерецковский со всей возможной полнотой воспользовался расположением к нему государя и предоставленными ему правами. Но такое положение продолжалось, лишь пока был жив император Павел I, и с его смертью изменилось. Лица, стоявшие во главе высшего церковного управления, сознавали ненормальность расширения власти обер-священника, и в скором времени его компетенция была строго определена Синодом. Падение П.Я.Озерецковского не сломило его энергии, и он много ещё сделал для военного духовенства. 18 ноября 1806 года он был пожалован орденом Святой Анны 1-й степени, 24 декабря того же года - шитой жемчугом митрой. Скончался Павел Яковлевич 12 мая 1807 года в Санкт-Петербурге, похоронен на Смоленском кладбище.