Дважды Герой Социалистического Труда (1949, 1956).
Родился 19 января (6 января по старому стилю) 1905 года в деревне Литвиново ныне Кольчугинского района Владимирской области в семье рабочего.
С июля 1919 года до января 1925 года трудился рабочим на Кольчугинском заводе, после чего ушел на комсомольскую работу и до сентября 1926 года был секретарём Кольчугинского районного комитета ВЛКСМ.
С 1926 по 1929 году учился на рабочем факультете имени Артёма в Москве. По окончании рабфака, с 1929 по 1933 году учился в Московском Высшем Техническом училище имени Н. Э. Баумана. После окончания института, защитив диплом по специальности «инженер-механика по двигателям внутреннего сгорания», Павел Зернов был оставлен в МВТУ аспирантом и одновременно работал старшим инженером, затем научным сотрудником в лаборатории, преподавателем. Окончив в 1937 году аспирантуру, защитил диссертацию на соискание учёной степени «кандидат технических наук».
В феврале 1938 года Зернов был назначен главным инженером Главного Управления Дизелестроительной промышленности, в сентябре 1938 года — начальником Главного Управления Тракторной промышленности Народного Комиссариата машиностроения СССР, а в феврале 1939 года, в период организации Народного Комиссариата среднего машиностроения СССР, — заместителем Народного Комиссара, где работал до июня 1940 года. С июня 1940 года П. М. Зернов назначен Председателем Всесоюзного комитета стандартов при Совете Народных Комиссаров СССР, занимая это пост до декабря 1942 года.
В военные годы генерал-майор инженерно-танковой службы Зернов П. М. проявил талант выдающегося организатора производства, особенно в должности заместителя Наркома, в ведении которого находилась танковая промышленность страны.
В феврале 1943 года ГКО СССР рассмотрел и утвердил программу научных и технических исследований по практическому использованию «внутриатомной» энергии. В 1946 году П. М. Зернова назначили директором базы № 112 Главгорстроя СССР. Основными задачами этого объекта, получившего затем наименование «КБ-11», значились «разработка конструкции и изготовление опытных образцов реактивных двигателей», фактически означавших создание ядерного оружия.
«КБ-11» (ныне Российский Федеральный ядерный центр — Всероссийский научно-исследовательский институт экспериментальной физики) в закрытом городе «Арзамас-16» Нижегородской области (ныне город Саров) принимал участие в создании экспериментальной и конструкторской базы по разработке советского ядерного оружия. Под руководством П. М. Зернова формировался коллектив «КБ-11», осуществлялось строительство лабораторных зданий, создавалась экспериментальная база, на которой велись все необходимые научно-исследовательские и конструкторские работы по подготовке конструкции первой отечественной атомной бомбы.
Павел Михайлович Зернов скончался 7 февраля 1964 года. Похоронен в Москве на Новодевичьем кладбище.
Бронзовый бюст дважды Героя Социалистического Труда П. М. Зернова установлен в городе Кольчугино Владимирской области, где его имя носит одна из улиц. В музее Кольчугинского завода один из стендов посвящён славному земляку. В городе Сарове Нижегородской области именем Героя и основателя этого города названы улица и парк культуры и отдыха.