Павел Михайлович Зернов родился 19 января 1905 года в деревне Литвиново, Владимирская область. С 1919 по 1925 год он работал рабочим на Кольчугинском заводе, а затем стал секретарем Кольчугинского районного комитета ВЛКСМ.
В 1929 году он окончил рабочий факультет имени Артема в Москве и получил дополнительное образование по специальности «инженер-механик по двигателям внутреннего сгорания» в Московском Высшем Техническом училище имени Н. Э. Баумана.
Завершив аспирантуру в 1937 году и защитив диссертацию, он получил ученую степень «кандидат технических наук».
С начала 1938 года Павел Зернов занимал руководящие должности в дизельной и тракторной промышленности, а с 1939 года он был заместителем Народного Комиссара.
С июня 1940 года по декабрь 1942 года он был Председателем Всесоюзного комитета стандартов при Совете Народных Комиссаров СССР.
В годы Второй мировой войны он проявил себя как выдающийся организатор военного производства, особенно в танковой промышленности.
В 1946 году он стал директором базы № 112 Главгорстроя СССР, где занимался разработкой реактивных двигателей и созданием ядерного оружия.
За свои заслуги ему было присвоено звание Героя Социалистического Труда в 1949 и 1956 годах.
В последующие годы Павел Зернов занимал важные посты в среднем машиностроении, был заместителем министра и заместителем председателя Государственного производственного комитета СССР.
Павел Михайлович Зернов умер 7 февраля 1964 года и похоронен на Новодевичьем кладбище в Москве.
