Родился 25 июня 1814 года в Санкт-Петербурге. Отец его, Яков Осипович, был учителем при Втором кадетском корпусе, оставил службу в 1819 году и переселился в Москву, где занимался частным преподаванием до смерти, последовавшей в 1826 году. С этих пор молодой Петров получал домашнее образование в доме князя Александра Петровича Оболенского (тогда губернатора в Калуге).
В 1828 году, выдержав экзамен, он был принят в приготовительное отделение Московского университета и через год переведён на ординарные лекции по Словесному факультету. Окончив курс со степенью кандидата в 1832 году, Петров жил то в Москве, то в Санкт-Петербурге, занимаясь частными уроками, но притом усердно изучал и восточные языки. Его решительная склонность и особенные способности к изучению языков не укрылись от академика Френа, и он явился ходатаем о молодом лингвисте у графа С. С. Уварова, министра народного просвещения, который один из первых признал важность изучения Востока для России. По распоряжению министра Павел Яковлевич был включён в 1834 году в число воспитанников Дерптского профессорского института, с 1200 рублями ассигнациями жалованья, но за неимением кафедры восточных языков в Дерпте был оставлен в Санкт-Петербурге для слушания лекций в Университете и Восточном институте. Четыре года изучал он здесь языки арабский, персидский и турецкий под руководством Шармуа, Деманжа, Мирзы Джафэра и Френа. В то же время Петров изучал китайский язык и санскрит (сначала самоучкой, затем под руководством адъюнкта академии Ленца, преждевременно скончавшегося в 1836 году).
По возвращении из путешествия в 1841 году, Петров был определён исполняющим должность адъюнкта по вновь учрежденной кафедре санскритского языка в Казанский университет, где, сверх того, в 1849—1850 годах временно занимал должность лектора английского языка. Кроме языка, Петров читал здесь курсы санскритской литературы, индийских древностей и истории Кашмирского царства. «Программа для преподавания санскритского языка и литературы» («Учен. записки Имп. Каз. унив.», 1842, кн. 2) свидетельствует о широте объёма, в котором Петров знакомил своих слушателей с предметом. Для целей преподавания им была издана и первая в России «Санскритская антология» (отд. I, Казань, 1846; за год перед тем вышла известная «Sanskrit-Chrestomathie» знаменитого академика Бётлингка, которую нельзя, однако, считать произведением русской научной литературы). Работа эта была задумана Петровым давно и подготавливалась им ещё во время заграничной поездки.
В 1852 году он был переведён в Московский университет на ту же кафедру, которая, однако, вскоре стала называться кафедрой восточных языков, и к преподаванию санскрита присоединилось преподавание арабского, персидского и еврейского языков. В 1856 году Петров был избран исполняющим должность экстраординарного профессора, а по возведении его Санкт-Петербургским университетом в почётные доктора, в 1864 году утверждён ординарным профессором. В 1863 возглавил кафедру сравнительной грамматики индоевропейских языков. В 1868 избран членом Общества любителей естествознания, антропологии и этнографии при Московском университете. Три раза Московский университет оставлял его на пятилетие, но летом 1875 года пошатнувшееся здоровье заставило Петрова выйти в отставку, не дожидаясь истечения третьего пятилетия. Вскоре, после продолжительной и тяжкой болезни, он скончался — 7 сентября 1875 года в Москве.
Петров был учёным ориенталистом старой школы: чужой язык для него часто был не средством проникновения в содержание его литературы и не материалом для сравнения с другими языками, но единственной, прямой целью изучения. Идеалом было полное практическое овладение языком, как бы преображение в настоящего индуса, араба, перса и т. д. Интересны в этом отношении биографические сведения о Петрове, сообщаемые Н. В. Бергом («Русская старина», 1876, т. XVII): Петров употреблял «очень много времени на тончайшее изучение способа писания того или другого народа», причём употреблял и туземные орудия письма, «по-персидски он не только говорил, но и писал, и пел, и молился… качаясь в обе стороны и закрывая глаза». Петров знал ещё многие другие — калмыцкий, татарский и т. д. В библиотеке его, по собственному его счёту, имелись книги более чем на 100 языках. В частной жизни это был анахорет, человек не от мира сего. Лекции его не были обязательны для студентов, но тем не менее слушатели всегда находились, особенно для санскрита, который у него слушали и некоторые профессора (например, П. М. Леонтьев).
Павел Яковлевич был одним из первых преподавателей санскритской словесности в российских университетах, но дальнейшего влияния на успехи науки он не имел ни в качестве учителя, обязанности которого он исполнял с образцовой аккуратностью, ни как учёный исследователь и публицист, хотя он и пользовался известностью замечательного лингвиста, не ограничивавшегося какой-нибудь одной отраслью языков, о чём свидетельствует богатая библиотека из двух тысяч книг, перешедшая в собственность Московского университета. Будучи человеком скромным, весьма необщительным, Петров избегал сношений даже со специалистами и сосредоточивался на домашних занятиях, только с трудом решаясь сообщать в печати результаты своих усидчивых исследований. Итак, от него сохранился только ряд мелких статей, носящих более случайный характер и для науки прошедших почти бесследно. Они исчисляются здесь в хронологическом порядке.