Родился в Москве в семье потомственных почетных граждан Василия Павловича (умер в 1889) и Клавдии Алексеевны Зубовых, владевших красильной фабрикой в городе Александрове. Рано начал учиться игре на скрипке у профессора Московской консерватории И.В.Гржимали. Среднее образование он получил в частной гимназии Креймана, по окончании которой в 1881 году поступил на естественное отделение физико-математического факультета Московского университета, которое закончил в 1885 году. Более 20 лет проработал в термохимической лаборатории В. Ф. Лугинина в Московском университете. Занимался исследованиями в области термохимии; работы посвящены изучению теплот сгорания различных классов органических соединений. Ещё в гимназические годы Павел Зубов заинтересовался нумизматикой, в результате увлечения собрал большую коллекцию русских и восточных монет; в 1897 году были опубликованы его исследования по русской нумизматике. Нумизматическую коллекцию П.В.Зубова дополняла библиотека, содержавшая богатейший подбор книг по истории и археологии. К концу жизни Павла Васильевича она насчитывала несколько десятков тысяч томов. В 1900 году П.В.Зубов завещал коллекцию, библиотеку, а также значительную сумму денег на их содержание Императорскому Российскому Историческому музею. После смерти П. В. Зубова книги передали в Историческую библиотеку, где они бесследно растворились в общем собрании, так как экслибрисов на них не имелось.
Обладал коллекцией редчайших смычковых инструментов работы Страдивари, Гварнери, Руджери, Амати, которую начал собирать его отец. Был председателем общества Попечительства о бедных Рогожской части, сменив на этом посту К.С.Алексеева.
Жена Наталья Митрофановна (Грачева). Дети Василий, Мария, Николай, Клавдия. Сын Василий — крупный русский и советский историк, искусствовед, историк философии, вошедший в историю гуманитарной науки России как «русский Леонардо» благодаря глубине и разносторонности своих научных интересов.
Умер в Москве, похоронен на кладбище Спасо-Андроникова монастыря.