Родившись в семье сельского учителя, Николай Иванович Крылов стал членом красногвардейского отряда с 1918 года. В 1919 году он присоединился к Красной Армии как рядовой и принял участие в Гражданской войне. После окончания Саратовских пехотно-пулеметных курсов в 1920 году был назначен командиром стрелкового взвода, а затем стрелковой полуроты в составе 28-й стрелковой дивизии. В рядах 11-й армии он сражался на Южном фронте против белогвардейских сил на Северном Кавказе и в Закавказье. В 1921 году он был переведен на Дальний Восток и стал командиром стрелкового батальона в 3-м Верхне-Удинском полку 1-й Тихоокеанской дивизии Народно-революционной армии Дальневосточной Республики, участвуя в освобождении Владивостока в 1922 году.
После войны Николай Иванович продолжил служить на Дальнем Востоке, занимая различные должности, включая командира батальона и помощника начальника штаба стрелкового полка. В 1928 году он закончил Стрелково-тактические курсы усовершенствования комсостава РККА «Выстрел» имени Коминтерна и был назначен начальником штаба стрелкового полка в 1-й Тихоокеанской дивизии. С 1931 года он командовал батальоном в Благовещенском укрепрайоне, а с 1936 года был начальником штаба укрепрайона. В 1938 году ему было присвоено воинское звание полковника.
Моя первая встреча с Крыловым была непродолжительной, но сложившееся тогда впечатление о нём мне никогда потом не приходилось пересматривать. Как-то сразу почувствовалось, что это человек, сочетающий в себе твёрдый характер, и недюжинный ум, человек самоотверженный, надёжный в самом высоком смысле слова, на которого можно положиться при любых обстоятельствах. Потом я узнал, что Николай Иванович обладает также редкостной работоспособностью — казалось, силам его нет предела. Узнал и исключительную его скромность. Собственное служебное положение никогда не имело для него слишком большого значения. Не раз, получив возможность выбора, он предпочитал быть назначенным на менее высокий пост и в то же время всегда был готов взять на себя самое трудное.
— Предисловие Маршала Советского Союза А. М. Василевского к книге Маршала Советского Союза Н. И. Крылова Сталинградский рубеж. — М.: Воениздат, 1984. — С. 3—4.
Назначение В. И. Чуйкова командармом, а Н. И. Крылова — начальником штаба… полностью себя оправдало. Сработались они отлично. Причём возглавляемый Крыловым штаб внёс чрезвычайно много нового в практику боевого управления войсками, сражавшимися в сложнейшей, часто совершенно необычной обстановке.
Он был командармом «… чьи талант, военное искусство, мужество и воля к победе, проявленные на полях сражений, дают все основания назвать его полководцем. Это звание не присваивается никаким приказами и ни к кому не приходит автоматически, вместе с назначением на определённую должность. Право на него дают только боевые дела».
С 1939 года Николай Иванович был начальником отдела ОСОАВИАХИМа в Ставрополе. В мае 1941 года он был назначен начальником штаба Дунайского укрепрайона на советско-румынской границе в Одесском военном округе. В начале Великой Отечественной войны он оставался на этой должности. В июле 1941 года его назначили начальником оперативного отдела, а затем начальником штаба Приморской армии в Крыму. Он лично управлял войсками в ходе обороны Одессы и Севастополя. В декабре 1941 года он был тяжело ранен и эвакуирован из города в последние дни обороны, имея уже звание генерал-майора.
С сентября 1942 г. — начальник штаба 62-й армии, которая вела многомесячные уличные бои в городе Сталинграде. До прибытия нового командующего В.И. Чуйкова почти месяц командовал армией, умело организовал оборону в районе Тракторного завода и завода «Красный Октябрь».
Боевому пути этого добрейшего по натуре и абсолютно невозмутимого генерала можно было позавидовать. Он был начальником штаба армий, героически оборонявших Одессу,Севастополь и Сталинград. Этот факт говорил сам за себя. Мне было известно, что Крылов блестяще проявил себя и на посту командарма как в операции «Багратион», так и в сражении за Восточную Пруссию. Николай Иванович не имел высшего военного образования, но его отточенное оперативное мышление и ясное предвидение неожиданных поворотов в боевых действиях просто поражает.
— Герой Советского Союза Маршал Советского Союза Баграмян И. Х. Так шли мы к победе. — М: Воениздат, 1977. — С. 537.
После разгрома немецко-фашистских войск под Сталинградом генерал Крылов в мае 1943 г. назначен командующим войсками 3-й резервной армии Ставки Верховного Главнокомандования. С июля 1943 г. — командующий 21-й армией на Западном фронте. В ходе Смоленской наступательной операции он непосредственно командовал войсками по осуществлению прорыва сильно укреплённой обороны противника, форсированию рек Десна и Сож. При завершении операции войска армии под его командованием нанесли поражение 4-й немецко-фашистской армии.
В сентябре 1943 г. Крылову было присвоено воинское звание генерал-лейтенанта, а в октябре того же года он был назначен командующим 5-й армией на Западном фронте. Во главе армии участвовал в Оршанской и Витебской наступательных операциях. В Белорусской стратегической операции 5-я армия под командованием Н.И. Крылова успешно действовала в составе ударной группировки 3-го Белорусского фронта на богушевском направлении. Части армии успешно наступали у Витебска, Орши, Минска, первыми форсировали р. Березина, штурмовали Вильнюс и отбивали контрудары врага под Каунасом. За отличное командование войсками Н.И. Крылов в июле 1944 г. был удостоен воинского звания генерал-полковника. В ходе Восточно-Прусской операции Н.И. Крылов участвовал в ликвидации земландской немецко-фашистской группировки.
С Николаем Ивановичем Крыловым мы были неразлучны весь период боёв в Сталинграде…
— Маршал Советского Союза В. И. Чуйков. Начало пути. — М.: Воениздат, 1959. — С. 85.
Он был начальником штаба армии и моим первым заместителем. За весь этот период мы хорошо узнали друг друга, и в оценке событий в самой сложной обстановке у нас не было расхождений. Николай Иванович умел подхватывать решения и так четко проводить их в жизнь, что подчиненные командиры и штабы в разговорах с ним всегда чувствовали решение Военного Совета.
Я особенно уважал и ценил боевой опыт Николая Ивановича, полученный им в период обороны Одессы и Севастополя. Его знание противника, даже отдельных видных генералов, его опыт организации обороны в городе были неоценимы в бо
После победы над Германией 5-я армия была переброшена на Дальний Восток и включена в состав 1-го Дальневосточного фронта. В Советско-японской войне 1945 г. армия под командованием Н.И. Крылова, действуя на главном направлении, прорвала мощную полосу долговременных оборонительных сооружений и, наступая в условиях горно-таежной местности, овладела рядом городов, форсировала реки Мулинхэ и Муданьцзян, разгромила несколько соединений Квантунской армии, обеспечив её окружение.
После войны Н.И. Крылов — командующий армией, заместитель командующего войсками Приморского военного округа. В январе 1947 г. его назначают командующим войсками Дальневосточного военного округа. В 1953 г. округ был переформирован в армию, которую включили в состав нового объединённого Дальневосточного военного округа. Крылов около полугода командовал этой армией, а в сентябре того же 1953 г. был назначен первым заместителем командующего войсками нового Дальневосточного военного округа. В сентябре 1953 г. ему было присвоено воинское звание генерала армии. С января 1956-го по март 1963 г. Крылов последовательно командовал войсками Уральского, Ленинградского и Московского военных округов. В марте 1963 г. его назначают главнокомандующим Ракетными войсками стратегического назначения — заместителем Министра обороны СССР. На этом посту он в сжатые сроки, по сути, создал новый вид войск Вооруженных Сил СССР, привел их в постоянную боевую готовность, обеспечил их оснащение новыми образцами ракетного вооружения.
Являлся депутатом Верховного Совета СССР 3–8-го созывов. Автор мемуаров: «Не померкнет никогда» (1969). «Навстречу победе» (1970, соавтор), «Огненный бастион» (1972).
Награжден: 4 орденами Ленина, орденом Октябрьской Революции, 4 орденами Красного Знамени, орденом Суворова 1-й ст., Кутузова 1-й ст.; иностранными орденами: Китай – Сияющего знамени 2-й ст., МНР — Сухэ-Батора, Франции — Почетного легиона 3-й ст. и Военного креста 1939 г.; Почётным оружием, а также многими советскими и зарубежными медалями.
Н. И. Крылов скончался в возрасте 69 лет, на девятый день после получения известия о смерти своего друга — М. В. Захарова, маршала Советского Союза. Урна с прахом Н.И. Крылова захоронена в Кремлёвской стене на Красной площади в Москве.
