Пётр Ярков родился 15 (по старому — 27) августа 1875 года в деревне Сельцо Московской губернии в крестьянской семье. В детстве слушал народные песни в исполнении матери, позже сам обучался пению под руководством известного певца и балагура П. Я. Порошина. Продолжил учёбу в 1884-87 годах в земской школе. Обучался столярному дело в Москве в 1887-92 годах.
После Октябрьской революции принимал активное участие в культурной жизни родной деревни, был селькором. Работал журналистом в сельских газетах («Беднота», «Крестьянская газета», журнал «Сам себе агроном») и писал брошюры на сельскохозяйственные темы.
В 1919 году Ярков организовал собственный самодеятельный крестьянский хор, который выступил в 1921 году в Москве на собрании этнографической секции ГИМНа. Хор сумел развиться до профессионального московского коллектива в 1925-49 годах. Ярков сам составлял программы для концертов хора и давал к ним пояснения на концертах. В 1930 году хор Яркова занял первое место на Всесоюзной олимпиаде. У хора был выработан своеобразный исполнительский стиль.
В поздние годы публиковал в музыкальных журналах статьи о своём хоре, народных песнях и др. Собирал тексты народных песен: запоминал все тексты и мелодии и распевал их в хоре. Позднее многие собранные им песни записала Анна Руднeва; она собрала и опубликовала «Русские народные песни Подмосковья, собранные народным певцом-умельцем П. Г. Ярковым с 1890 по 1930» (Москва-Ленинград, 1951, 1964). Ярков скончался 18 августа 1945 года в Москве. После его смерти до 1949 года хором руководила Руднeва.