Павел Фитин родился 28 декабря 1907 года в селе Ожогино Курганской области. После окончания школы в 1920 году, он начал работать в сельхозартели «Звезда». С 1922 по 1927 год он учился в школе второй ступени в Ялуторовске и стал членом Ленинского Комсомола, а позднее вступил в Коммунистическую партию СССР.
С мая 1927 года он стал председателем Бюро юных пионеров и заместителем ответственного секретаря Шатровского райкома ВЛКСМ. В 1932 году он закончил инженерный факультет Московской сельскохозяйственной академии имени Тимирязева и работал инженером в лаборатории сельхозмашин Московского института механизации и электрификации сельского хозяйства. Также он был заведующим редакции индустриальной литературы в издательстве «Сельхозгиз».
В марте 1938 года, в период массовых репрессий, Фитин был отправлен на специальные ускоренные курсы Школы особого назначения НКВД, где он прошел обучение в качестве стажера. После завершения обучения, он получил должность оперуполномоченного в 5 отделе Главного управления государственной безопасности НКВД СССР.
С августа 1938 года Фитин стал начальником 9 отделения 5 отдела Главного управления государственной безопасности НКВД. За год он продвинулся и был назначен заместителем начальника 5 отдела Главного управления.
В возрасте 31 года, 13 мая 1939 года, он стал руководителем внешней разведки органов госбезопасности в должности начальника 5 отдела Главного управления государственной безопасности НКВД СССР.
С 26 февраля 1941 года Фитин возглавил 1 Управление НКГБ СССР, а затем — 1 Управление НКВД СССР. Он сыграл важную роль в предоставлении информации Сталину о предполагаемой дате нападения Германии на СССР.
После Великой Отечественной войны, в 1946 году, Фитин был назначен заместителем уполномоченного КГБ в Германии в советской оккупационной зоне. Позднее, в 1951 году, он был переведен в министерство госбезопасности Казахской ССР, а затем работал в Свердловской области.
Однако, после ареста Лаврентия Берии в 1953 году, Фитин был уволен из органов государственной безопасности и перешел на работу в Министерство госконтроля СССР, где работал старшим контролером.
Павел Михайлович Фитин оставил заметный след в истории советской разведки и службы в органах госбезопасности.
24 декабря 1971 года Фитин Павел Михайлович скончался в возрасте шестидесяти трех лет. Похоронен на Введенском кладбище Москвы.