Захарьин писал, что его отец, плённый татарин, приняв православие, поселился в Козлове и нажил торговлей значительное состояние. После смерти отца наследство было расхищено, и Пётр Михайлович остался ни с чем.
Состоя в военной службе, занимался между делом стихотворством. Державин, бывший тогда гражданским губернатором Тамбова, не особенно ценил его поэтический дар и следующим образом охарактеризовал его в посвященном ему шуточном стихотворении «Желание Зимы»: «Его милости разжалованному отставному сержанту, дворянской думы копиисту, архивариусу без архива, управителю без имения и стихотворцу без вкуса».
15 сентября 1786 г., в день коронования Екатерины II, в Тамбове открывалось Народное училище. На этом торжественном акте П. М. Захарьин произнёс торжесвенную речь, написанную Державиным, в ту пору тамбовский губернатор. Она была напечатана в нескольких периодических изданиях, выпущена двумя отдельными изданиями, переведена на иностранные языки.
Его «Арсафакс. Халдейская вымышленная повесть» (Москва, 1793—1796) пользовалась большой известностью; о ней очень одобрительно отзывались в литературных кругах, хвалил её и Державин.