Родился в семье сельских учителей. С 1918 года — в комсомоле, был секретарём уездной комсомольской ячейки и бойцом добровольческого партийно-комсомольского красногвардейского отряда. В годы гражданской войны пытался поступить в Красную Армию, в начале 1919 года был зачислен в авиационный дивизион Южного фронта, но через несколько дней тяжело заболел и был оставлен у родителей. Тогда же сдал экстерном экзамен за школьный курс и получил свидетельство об окончании школы 2-й ступени.
Тем не менее в апреле 1919 года в возрасте 16 лет добровольно добился зачисления в Красную Армию. После успешного окончания в 1920 году Саратовских пехотно-пулеметных курсов в 1920 году был назначен командиром стрелкового взвода, затем стрелковой полуроты в составе 28-й стрелковой дивизии имени В. М. Азина. В рядах 11-й армии воевал на Южном фронте, участвовал в занятии красными войсками Азербайджана, в советско-грузинской войне 1921 года. В 1921 году переведён на Дальний Восток и в возрасте 19 лет назначен командиром стрелкового батальона в 3-м Верхне-Удинском полку 1-й Тихоокеанской дивизии Народно-революционной армии Дальневосточной республики. Участвовал в штурме Спасска, освобождении Никольска-Уссурийского и Владивостока в 1922 году.
После окончания гражданской войны Крылов остался служить в Красной Армии и продолжал служить на Дальнем Востоке, командовал батальоном, с 1923 года — помощник начальника штаба стрелкового полка. Член ВКП(б) с 1927 года. В августе 1928 года окончил Курсы усовершенствования комсостава РККА «Выстрел». С 1929 года — начальник штаба стрелкового полка в 1-й Тихоокеанской дивизии. С 1931 года командовал батальоном в Благовещенском укрепрайоне. С 1936 года — начальник штаба Благовещенского укрепрайона. Полковник (17.02.1938).
С 1939 года — начальник отдела ОСОАВИАХИМа в Ставрополе. В мае 1941 года назначен начальником штаба Дунайского укрепрайона на южном участке советско-румынской границы в Одесском военном округе.
В этой должности встретил Великую Отечественную войну. В первый день войны вступил в бой с румынскими войсками, безуспешно пытавшимися перейти границу. Когда возникла угроза захвата врагом Одессы, войска с границы были отведены к ней, а полковник Н. И. Крылов был назначен в начале июля 1941 года заместителем начальника оперативного отдела Приморской армии. В условиях нехватки командиров в окружённой Одессе, с 11 августа стал начальником оперативного отдела армии, а уже с 21 августа — начальником штаба Приморской армии. В этой должности прошёл от начала до конца оборону Одессы и оборону Севастополя. В декабре 1941 года был тяжело ранен при артобстреле во время выезда в войска под Севастополем, отказался от эвакуации из города, но незалеченная рана потом причиняла боль всю жизнь. Генерал-майор (27.12.1941). Эвакуирован из города в последние дни обороны со штабом армии на подводной лодке.
Затем более месяца был в резерве и писал отчёт об обороне Севастополя. В августе 1942 года назначен начальником штаба 1-й гвардейской армии, но через несколько дней срочно вызван в Сталинград и назначен начальником штаба 62-й армии, которая вела многомесячные уличные бои в городе. До прибытия нового командующего В. И. Чуйкова почти месяц командовал армией. На протяжении всей Сталинградской битвы со штабом оставался в городе, хотя штаб армии располагался примерно в 800 метрах от позиций врага. Там стал близким другом В. И. Чуйкова, а также много месяцев его начальником был член Военного совета фронта Н. С. Хрущев. После войны Н. И. Крылов напишет очерк «Волжская твердыня».
После победы под Сталинградом генерал Крылов назначен в мае 1943 года командующим войсками 3-й резервной армии Ставки Верховного Главнокомандования. С июля 1943 года — командующий 21-й армией на Западном фронте. Генерал-лейтенант (9.09.1943). С октября 1943 года — командующий 5-й армией на Западном фронте, участвовал в Оршанской операции и Витебской операции. Затем армия передана 3-му Белорусскому фронту. Во главе этой армии ярко раскрылся полководческий талант Крылова. В ходе Белорусской стратегической операции 1944 года части армии успешно наступали у Витебска, Орши, Минска, штурмовали Вильнюс и отбивали контрудары врага под Каунасом. За отличное командование войсками в Белорусской операции Н. И. Крылову присвоено звание Герой Советского Союза и воинское звание генерал-полковник (15.07.1944).
В конце 1944 года два месяца лежал в госпитале в Москве (открылась старая рана), затем вернулся на пост командующего и отличился в Восточно-Прусской операции. За успешный разгром противостоящих группировок врага в этой операции Н. И. Крылову вторично присвоено звание Герой Советского Союза.
После победы над Германией 5-я армия в полном составе была переброшена на Дальний Восток и включена в состав 1-го Дальневосточного фронта. Участник Советско-японской войны в августе 1945 года. Вместе с командующим фронтом Маршалом Советского Союза К. А. Мерецковым им был предпринят дерзкий шаг против 3-й японской армии. В условиях проливного дождя, без артподготовки, через границу скрытно были выдвинуты передовые части, которые абсолютно внезапно для японцев атаковали и уничтожили долговременные огневые сооружения, прорвав глубоко эшелонированный приграничный оборонительный рубеж.
С октября 1945 года Н. И. Крылов служил заместителем командующего Приморским военным округом. С января 1947 года — командующий войсками Дальневосточного военного округа (тогда в состав этого округа входили только Сахалин, Камчатка, Курильские острова и отдельные прибрежные районы Приморского края. В марте 1953 года этот «островной» округ был переформирован в армию, которую включили в состав нового объединённого Дальневосточного военного округа. Крылов около полугода командовал этой армией, а в сентябре того же 1953 года он был назначен первым заместителем командующего войсками Дальневосточного военного округа. Одновременно, 18 сентября 1953 года, ему было присвоено воинское звание генерал армии. С января 1956 года — командующий войсками Уральского военного округа, с 1958 года — командующий войсками Ленинградского военного округа, с 1960 года — командующий войсками Московского военного округа. В марте 1963 года назначен Главнокомандующим Ракетными войсками стратегического назначения СССР.
На посту Главкома РВСН Н. И. Крылов оказался по существу, создателем нового вида войск, ибо за прошедшие 4 года существования войск он стал их четвёртым по счету Главнокомандующим. Ему предстояло в сжатые сроки создать войска, привести их в постоянную боевую готовность, обеспечивать испытания новой техники и совместно с конструкторами вести её доработку. Развитие РВСН обуславливалось и Карибским кризисом. В 1965 году, судя по докладу министра обороны США Р. Макнамары, у США имелось 650 баллистических ракет, а у СССР всего 200. Н. И. Крылов, конструктор М. К. Янгель и ряд других специалистов приходят к выводу о необходимости строительства новейших шахтных пусковых установок (ШПУ) и принятия на вооружение новых боевых ракетных комплексов (БРК). М. К. Янгель создал в своём КБ новые виды ракетного вооружения, дальность полёта которых значительно превышала РК с ракетами Р-12.
Широко известна ставшая уже фольклорной история о посещении Ракетных войск стратегического назначения СССР Президентом Франции Шарлем де Голлем в 1966 году. Вместе с Н. И. Крыловым он посетил ракетную дивизию в Новосибирске, после чего по приглашению Л. И. Брежнева прибыл для участия в показательном пуске ракеты на полигоне Ленинск в Казахстане. Де Голль не был предупрежден о готовящемся пуске и беседовал с Брежневым и Крыловым на смотровой террасе полигона, когда в нескольких сотнях метров от них внезапно из замаскированной шахты стартовала и ушла в небо межконтинентальная баллистическая ракета. Когда потрясённый де Голль спросил у Брежнева «Неужели у вас такая же ракета и на Париж нацелена?», улыбнувшийся Брежнев кивнул на дымящуюся шахту и сказал: «Не беспокойтесь. Не эта». Возможно, случившееся убедило генерала де Голля в силе нового вида вооружений Советской Армии повлияло на его решение о выходе Франции из военной организации НАТО в том же году.
Н. И. Крылов скончался в возрасте 69 лет. Похоронен у Кремлёвской стены.
Н. И. Крылов проводил инспекции во всех частях и подразделениях РВСН. После каждого выпуска офицеров-ракетчиков приглашал в Главный штаб РВСН молодых офицеров, выслушивал их жалобы и просьбы, после чего лично проверял выполнение поставленных им задач. Проинспектировав ракетную часть, Н. И. Крылов пишет: «После проверки готовности части, начальник штаба показал графики боевого дежурства, всё красочно и красиво. Проверил порядок в казарме, и после красочных рисунков стало мрачно».
Н. И. Крылов постоянно заботился о солдатах, служащих в РВСН, всегда спрашивал о их быте, досуге. При проверке одной из частей лично поинтересовался у солдат, как часто они получают письма, показывают ли им кино? Авторитет Н. И. Крылова в РВСН был высоким.
Немало сил и средств было потрачено на обустройство военных городков, где проживали семьи ракетчиков. При проверки любой части, Н. И. Крылов всегда проверял быт гарнизона, строительство жилого фонда, детских садов и школ, лечебных и оздоровительных учреждений, спортивных площадок и спортивных сооружений, домов культуры, театров. Почти все военные городки, построены по утверждённым Н. И. Крыловым проектам.
Во время его командования был утверждён в 1965 году Боевой устав РВСН.
Любил Николай Иванович охоту и рыбалку. Стал одним из тех, кого можно называть «отцом» волейбольного клуба «Искра». Первым среди Главкомов приказал ввести подсобные хозяйства, чтобы солдаты могли нормально питаться