Павел Фитин родился 28 декабря 1907 года в селе Ожогино в Курганской области. После завершения школы в 1920 году, он начал работать в сельскохозяйственной артели «Звезда». В период с 1922 по 1927 год он продолжил образование, посещая вторую ступень школы в Ялуторовске. В это время он также присоединился к Ленинскому комсомолу и впоследствии стал членом Коммунистической партии СССР.
С мая 1927 года он занимал должность председателя Бюро юных пионеров и стал заместителем ответственного секретаря Шатровского райкома ВЛКСМ. В 1932 году он успешно окончил инженерный факультет Московской сельскохозяйственной академии имени Тимирязева и начал работать инженером в лаборатории сельскохозяйственных машин Московского института механизации и электрификации сельского хозяйства. Он также стал руководителем редакции индустриальной литературы в издательстве «Сельхозгиз».
В октябре 1934 года он присоединился к Рабоче-крестьянской Красной Армии и был назначен на службу в военной части 1266 Московского военного округа. После завершения службы в запасе, он вернулся в издательство, где стал заместителем главного редактора в ноябре 1936 года.
В марте 1938 года, в период массовых репрессий, Павел Фитин был направлен на специальные ускоренные курсы Школы особого назначения НКВД вместе с другими гражданскими специалистами. После завершения обучения, он стал стажером в 5 отделе Главного управления государственной безопасности НКВД СССР.
С августа 1938 года Павел Фитин работал как оперуполномоченный, а затем начальником 9 отделения 5 отдела Главного управления государственной безопасности НКВД. В ноябре 1938 года он был назначен заместителем начальника 5 отдела Главного управления.
В возрасте 31 года, 13 мая 1939 года, Павел Михайлович Фитин возглавил внешнюю разведку органов госбезопасности, став начальником 5 отдела Главного управления государственной безопасности НКВД СССР.
С 26 февраля 1941 года он стал руководить 1 Управлением НКГБ СССР, а позже 1 Управлением НКВД СССР. В этой должности, он стал одним из первых, кто доложил Сталину предполагаемую дату нападения Германии на СССР.
По окончании Великой Отечественной войны, в сентябре 1951 года, Павел Фитин был назначен министром госбезопасности Казахской ССР, а затем старшим контролером в Министерстве госконтроля СССР. Впоследствии он занял должность старшего контролера в Комиссии советского контроля Совета министров СССР и руководил фотокомбинатом Союза советских обществ дружбы и культурных связей с зарубежными странами.
После ареста Лаврентия Берии в ноябре 1953 года, Павел Фитин был уволен из органов государственной безопасности без пенсии и переведен на другие должности в СССР.
С апреля 1954 года Павел Михайлович работал Главным контролером Министерства госконтроля СССР. В апреле 1958 года занял должность старшего контролера Комиссии советского контроля Совета министров СССР. Через год возглавил работу фотокомбината Союза советских обществ дружбы и культурных связей с зарубежными странами.
Фитин Павел Михайлович скончался 24 декабря 1971 года в возрасте шестидесяти трех лет. Похоронен на Введенском кладбище Москвы.