Николай Поликарпов родился 8 июля 1892 года (по старому стилю — 26 июня 1892 года) в селе Георгиевское Ливенского уезда Орловской губернии Российской империи (ныне село Калинино Ливенского района Орловской области РФ) в семье священника.
После окончания Ливенского духовного училища (ныне лицей имени С. Н. Булгакова, Ливны) он поступил в Орловскую семинарию, но не окончил её. Против воли отца Николай сдал экстерном экзамены за курс гимназии и в 1911 году поступил на механическое отделение Санкт-Петербургского политехнического института императора Петра Великого (ныне Санкт-Петербургский политехнический университет Петра Великого), который окончил в 1916 году по специальности «инженер-механик по паровым турбинам, двигателям внутреннего сгорания, системам отопления и вентиляции». В 1914-1916 годах он также занимался на курсах авиации и воздухоплавания при кораблестроительном отделении института.
Николай Поликарпов стал доктором технических наук в 1940 году и профессором Московского авиационного института, где заведовал кафедрой конструкций самолётов в 1943-1944 годах.
Во время учёбы в институте он совмещал её с работой техником-строителем (1912), помощником прораба (1913), инженером в петроградском филиале московского завода «Дукс» (1914-1915), инженером на авиазаводе Владимира Лебедева (1915). После защиты дипломного проекта в 1916 году он получил направление на авиационное отделение Русско-Балтийского вагонного завода (РБВЗ), где до 1918 года работал заведующим производством под руководством авиаконструктора Игоря Сикорского. Поликарпов участвовал в постройке самолёта «Илья Муромец» и проектировании истребителей РБВЗ.
После Октябрьской революции 1917 года он не принял предложение Сикорского эмигрировать вместе с ним. В марте 1918 года Поликарпов перешёл на работу во Всероссийскую коллегию по управлению Рабоче-крестьянским воздушным флотом. Вскоре коллегия была переведена в Москву и преобразована в Главвоздухфлот (ГУВФ), где Поликарпов занимался вопросами снабжения, планирования и строительства авиационных заводов.
В августе 1918 года Поликарпов перешёл на завод «Дукс» (с конца 1918 года — государственный авиационный завод №1, ныне АО «Ракетно-космический центр «Прогресс»), где до 1926 года руководил техническим отделом. В 1923 году он создал первый советский свободнонесущий моноплан И-1 (Ил-400) и первый массовый серийный советский самолёт, биплан-разведчик Р-1.
В 1926 году Поликарпов возглавил Отдел сухопутного самолётостроения ЦКБ Авиатреста, ставший ядром будущего конструкторского бюро Поликарпова. В 1927 году коллектив разработал истребитель И-3 и самолёт первоначального обучения У-2 (после смерти Поликарпова переименован в По-2), а годом позже — самолёт-разведчик Р-5, который получил широкую известность в связи со спасением экспедиции парохода «Челюскин».
В 1928 году Николай Поликарпов был назначен директором и главным конструктором госавиазавода №25.
24 октября 1929 года Поликарпов был арестован по обвинению в участии в «контрреволюционной вредительской организации» и саботаже, однако виновным себя не признал. В декабре того же года его направили в Особое конструкторское бюро (позднее — ЦКБ-39 ОГПУ), действовавшее сначала на территории Бутырской тюрьмы, а в 1930 году переведённое на Московский авиазавод №39 им. В. Р. Менжинского. Поликарпов продолжал разрабатывать воздушную технику совместно с Дмитрием Григоровичем, и ими был создан истребитель И-5.
В марте 1931 года Поликарпов был приговорён коллегией ОГПУ к десяти годам лагерей, однако 28 июня того же года, после успешного показа истребителя И-5 советским руководителям, коллегия ОГПУ постановила приговор считать условным. 7 июля авиаконструктора амнистировали. После освобождения он продолжал работать в ЦКБ-39, которое было введено в состав Центрального аэрогидродинамического института (ЦАГИ).
В 1933-1938 годах Николай Поликарпов участвовал в создании самолётов, составивших основу советской истребительной авиации в предвоенные годы — И-15 (1933), И-16 (1933), И-153 «Чайка» (1938), И-180 (1938). В ноябре 1935 года Поликарпов прошёл курс обучения в аэроклубе завода №39, где получил удостоверение гражданского пилота 4-го класса. В августе 1936 года он стал главным конструктором авиазаводов №84 (г. Химки, Московская область) и №21 (г. Горький, ныне Нижний Новгород).
После ареста авиаконструктора Андрея Туполева в 1937 году Поликарпов был назначен главным конструктором авиазавода №156 (Завод опытных конструкций ЦАГИ), куда в январе 1938 года переехало КБ Поликарпова.
15 декабря 1938 года в первом испытательном полёте разработанного Поликарповым истребителя И-180 погиб известный лётчик Валерий Чкалов. Вина на главного конструктора не возлагалась, был репрессирован ряд сотрудников бюро. В феврале 1939 года Поликарпов был назначен главным конструктором авиазавода №1, куда были переданы структурные подразделения его КБ.
Позднее в 1939 году, когда Поликарпов находился в командировке в Германии, часть подразделений, включавшая ценные конструкторские кадры, была выведена из его КБ в новый Опытный конструкторский отдел под руководством Артёма Микояна.
Оставшихся специалистов бюро перевели с завода №1 на созданный на территории бывшего Отдела эксплуатации, лётных испытаний и доводок (ОЭЛИД) ЦАГИ авиазавод №51. Поликарпов стал директором и главным конструктором ОКБ-51. Производственную базу ему пришлось создавать практически с нуля. В 1939-1944 годах он занимался разработкой опытных самолётов — биплана И-190 (1939), моноплана И-185 (1941), биплана И-195 (1940), тяжёлого истребителя сопровождения (ТИС, 1941) и других. Одной из последних работ конструктора был проект реактивного истребителя-перехватчика «Малютка».
В 1943 году у Поликарпова был диагностирован рак желудка, ставший причиной его смерти 30 июля 1944 года в Москве. Авиаконструктор похоронен на Новодевичьем кладбище.