Харви росла на ферме неподалёку от деревни Corscombe, находящейся в нескольких милях южнее Йовиля. Она родилась в чрезвычайно музыкально продвинутой семье, её родители были страстными меломанами и с детства малышка Полли с братом росли на блюзе и роке. Отец и старший брат Полли Джин были каменотесами, а мать — скульптором. Как рассказывала сама певица, она была замкнутым ребёнком, у неё не было подруг, её путали с мальчиком, да и сама она была не прочь им стать… Основными занятиями в то время для девочки являлись ухаживание за животными на ферме, купание в реке, катание на лошадях, изготовление игрушек и музыкальных инструментов. В 11 лет она освоила виолончель, саксофон и фортепиано, чуть позднее научилась играть на гитаре и ударных. Полли, как и её мать, увлекалась скульптурой, и в возрасте восемнадцати лет она поедет в Лондон учиться скульптуре в колледж, для чего ей придётся продать свою лошадь. И её работы даже выставлялись, но часть их, во время пожара в колледже была бесследно утрачена.
Пи Джей Харви начала музыкальную карьеру в таких проектах, как инструментальный октет «Bologna», где она играла на саксофоне, фолк-трио «Polekats», выступавшее в местных пабах, и в составе которого 18-летняя Полли написала свои первые песни. Затем в июле 1988 года присоединилась к группе Джона Пэриша «Automatic Dlamini», в которой играла на гитаре, саксофоне и исполняла бэк-вокал в течение двух с половиной лет. Группа дала несколько концертов в Европе, а также в 1992 году вышел альбом «From a diva to a diver». Стремясь поступить в Школу искусств Святого Мартина (St. Martin’s art school), Пи Джей переезжает в столицу Великобритании, но вскоре принимает решение сконцентрироваться на музыкальных делах. Вместе с басистом Йэном Оливером и ударником/бэк-вокалистом Робом Эллисом образовывается трио PJ Harvey. Их дебютный концерт в данной формации прошел в апреле 1991 года. Через некоторое время Йэна заменил Стив Воэн. И уже в марте на свет появляется Dry — первый альбом PJ Harvey, привлекший к себе внимание поклонников и критиков в области альтернативной музыки. Журнал «Rolling stone» назвал тогда 22-летнюю Харви «Лучшим автором песен» и «Лучшей новой певицей». Интерес к исполнительнице отчасти возрос после того, как она появилась на обложке «New musical express» топлес вполоборота спиной к объективу.
В 1993 году вышли два альбома: «Rid of me» и, после распада трио, сольный «4-track demos». В том же году Пи Джей Харви выступила на разогреве у U2.
Несмотря на наличие предложений, Полли Джин отказалась подписывать контракт с мейджор-лейблом, и осталась частью инди-культуры. В 1995 году вышел альбом «To bring you my love», ставший одним из самых успешных инди-альбомов. Он был записан Харви с участием разных музыкантов. В то же время она спела дуэтом с Ником Кейвом песню «Henry Lee» на альбоме «Murder ballads». Пи Джей Харви также поёт на альбоме Tricky «Angels with dirty faces» в песне «Broken homes» и на альбоме Гордона Гано (лидер «Violent femmes») «Hitting the ground» в одноименной песне.
Следующий, более экспериментальный альбом «Is this desire?» (1998) получил разные отзывы и имел меньший коммерческий успех. В 1999 году Пи Джей Харви снова собрала трио, с которым был записан альбом «Stories from the city, stories from the sea». За этот альбом она получила в 2000 году премию «Mercury music prize». В 2004 году вышел очередной альбом «Uh huh her».
Харви написала, спродюсировала и приняла участие в записи пяти песен для альбома Марианны Фэйтфул «Before the Poison» (2004).
В 2006 году она выпустила свой первый DVD «Please leave quietly». А в ноябре того же года, Харви начала работу над своим восьмым студийным альбомом «White Chalk», который вышел в свет 24 сентября 2007 года в Европе и 2 октября в США. Альбом радикально отличается от её обычного стиля и сделан с совершенно иным уклоном. Несмотря на это, лирически Харви придерживается на нём печальной и меланхоличной тематики, обычной для большинства её произведений.