Алексей Николаевич Крылов в селе Висяге Симбирской губернии (ныне село Крылово Порецкого района Чувашии) в семье Николая Александровича Крылова (1830—1911) и Софьи Викторовны Ляпуновой. Отец, артиллерийский офицер, участник боевых действий англо-франко-русской войны 1855—1856 годов, получил образование за казённый счёт, как сын ветерана, Александра Алексеевича Крылова, раненого под Бородино и при взятии Парижа (и награждённого золотым оружием за храбрость и орденами за боевые заслуги).
По традиции, Алексея Николаевича ждала судьба военного, но большее влияние на него оказало окружение многочисленных родственников, Филатовых (по бабушке со стороны отца) и Ляпуновых (по линии матери), которые в дальнейшем стали знаменитыми русскими (и французскими — В. Анри) врачами, учёными, композиторами.
В 1878 году Крылов поступил в Морское училище, которое окончил с отличием в 1884 году. После окончания училища работал в компасной мастерской Гидрографического управления под руководством И. П. Колонга, где провёл своё первое научное исследование по девиации магнитных компасов. Теория магнитных и гирокомпасов прошла через всю его жизнь. Много позже, в 1938—1940 годах опубликовал ряд работ, в которых дал полное изложение теории девиации магнитного компаса, исследовал вопросы теории гироскопических компасов, разработал теорию влияния качки корабля на показания компаса:
В 1941 году эти исследования были отмечены Сталинской премией. А. Н. Крылов предложил также новую систему дромоскопа, автоматически рассчитывающего девиацию компаса.
В 1887 году А. Н. Крылов перешёл на Франко-русский завод, а затем продолжил учёбу на кораблестроительном отделении Николаевской морской академии. После окончания курса (в 1890 году) остался в Академии, где вёл практические занятия по математике, а впоследствии курс теории корабля. По воспоминаниям самого А. Н. Крылова, с 1887 года его «главной специальностью стало кораблестроение, или, лучше сказать, приложение математики к разного рода вопросам морского дела». С этого началась его преподавательская деятельность, продолжавшаяся почти до самой смерти.
В 1890-е годы мировую известность приобрёл труд Крылова «Теория качки корабля», значительно расширивший теорию Уильяма Фруда. Работа А. Н. Крылова была первым всеобъемлющим теоретическим трудом в этой области. В 1896 году избран членом Английского общества корабельных инженеров. В 1898 году награждён золотой медалью Британского общества корабельных инженеров, причём это был первый случай в истории, когда медали удостаивался иностранец. Продолжая эти работы, создал теорию демпфирования (умирения) бортовой и килевой качки. Он первый предложил гироскопическое демпфирование (успокоение) бортовой качки, что сегодня является наиболее распространённым способом умирения бортовой качки.
С 1900 года А. Н. Крылов деятельно сотрудничает со Степаном Осиповичем Макаровым, адмиралом и учёным-кораблестроителем, работая над вопросом плавучести корабля. Итоги этой работы вскоре стали классическими и до сих пор широко используются в мире. Много лет спустя Крылов напишет о ранних идеях Макарова по борьбе с креном или дифферентом повреждённого корабля затоплением неповреждённых отсеков: «Это казалось морским чиновникам большой чушью. Потребовалось 35 лет… на то, чтобы их убедить, что идеи 22-летнего Макарова имеют большое практическое значение».
В 1900—1908 годах заведующий опытовым бассейном (его деятельность в этом качестве дала мощный импульс постановке научно-исследовательских работ в кораблестроении), в 1908—1910 годах — главный инспектор кораблестроения (начальник кораблестроительного отдела МТК и его председатель). С 1910 года — ординарный профессор Николаевской морской академии, консультант Адмиралтейского и Балтийского заводов. В 1911—1913 гг. экстраординарный профессор Института инженеров путей сообщения. В 1915—1916 гг. председатель правительственного правления Путиловских заводов. Участвовал в проектировании и постройке первых русских линкоров-дредноутов типа «Севастополь».
В 1912 году подготовил текст доклада по вопросу о необходимости ассигнований 500 миллионов рублей на воссоздание флота. Доклад был прочитан в Государственной Думе морским министром Григоровичем и обеспечил выделение запрошенных средств.
А. Н. Крылов был талантливым консультантом по делам флота. Сам он отмечал, что его советы сэкономили правительству больше стоимости самого современного дредноута. При этом А. Н. славился острым языком, и его меткие ответы правительству и Думе становились легендами.
В 1916 Крылов возглавлял Главную физическую обсерваторию и Главное военно-метеорологическое управление. В 1917 был назначен директором физической лаборатории Академии наук. В 1918 г. — консультант комиссии особых артиллерийских опытов. В 1919—1920 гг. — начальник Морской академии.
В 1917 году А. Н. Крылов был руководителем Русского общества пароходства и торговли. После Великой Октябрьской социалистической революции он передал все суда Советскому правительству и продолжал работать на развитие Отечественного флота. В 1921 году Крылов был направлен в Лондон, как представитель Советского правительства для восстановления зарубежных научных связей страны. В 1927 году он вернулся в Советский Союз.
В 1928—1931 гг. директор Физико-математического института АН СССР.
А. Н. Крылов знаменит своими работами по гидродинамике, в том числе и по теории движения корабля на мелководье (он был первым, кто смог объяснить и рассчитать значительное увеличение гидродинамического сопротивления при небольших глубинах) и теорией единичных волн.
А. Н. Крылов — автор около 300 книг и статей. Они покрывают большой диапазон человеческого знания, включая судостроение, магнетизм, артиллерийское дело, математику, астрономию и геодезию. Широко используются его знаменитые таблицы непотопляемости.
В 1931 году Крылов опубликовал работу по теме, известной теперь как подпространство Крылова (или методы подпространства Крылова). Работа касалась проблем собственных значений, а именно вычисления коэффициентов характеристического полинома заданной матрицы. Крылов коснулся эффективности вычислений и подсчитал вычислительные затраты как количество «отдельных операций перемножения» — явление не типичное для математической публикации 1931 года. Крылов начал с тщательного сравнения существующих методов, что включает оценку худшего сценария вычислительных затрат в методе Якоби. После этого он представил свой собственный метод, который был лучшим из известных к тому времени методов и широко используется до сих пор.
В августе 1941 году А. Н. Крылов, вопреки его протестам, был отправлен в эвакуацию в Казань. Вернулся в Ленинград в августе 1945 года. В эвакуации он написал свои знаменитые «Мои воспоминания».
В 1944 году принял участие в судьбе Физического факультета МГУ. Он подписал письмо четырёх академиков В. М. Молотову, автором которого был А. Ф. Иоффе. Это письмо инициировало разрешение противостояния между так называемой «академической» и «университетской» физикой.
А. Н. Крылов умер 26 октября 1945. Похоронен на «Литераторских мостках» Волкова кладбища неподалеку от И. П. Павлова и Д. И. Менделеева.
А. Н. Крылов был женат на Елизавете Дмитриевне Драницыной. Их дочь Анна вышла замуж за П. Л. Капицу, с которым у А. Н. Крылова были самые тёплые отношения. А. Н. Крылов — дед С. П. Капицы и А. П. Капицы.
А. Н. Крылов был выдающимся математиком и механиком, инженером и изобретателем, замечательным педагогом и популяризатором научных знаний. Крылов читал лекции по теории кораблестроения будущим инженерам. Крылов излагал сложные вещи простыми словами. Перевод трёх законов Ньютона принадлежит именно Крылову. Также Крылов писал научно-популярные книги. Хотя книги были предназначены для специалистов, изложены они были в научно-популярном стиле. Крылов серьёзно и ответственно относился к своим выступлениям. Благодаря Крылову, широкие массы инженеров и техников повышали свою специальную подготовку, приобщались к высокой культуре и становились новаторами в своей области деятельности.
А. Н. Крылов — основоположник теории корабля, автор множества работ по теории магнитных и гироскопических компасов, по артиллерии, механике, математике и астрономии. Кавалер ордена Святого Станислава 1-й степени, трижды кавалер ордена Ленина, Герой Социалистического Труда, лауреат Сталинской премии (1941). С 1914 года он — член-корреспондент, а с 1916 — действительный член Академии наук.
В честь А. Н. Крылова названы:
В Алатыре установлен памятник Крылову: бюст и два якоря, соединённые цепью. В Алатыре также названа в его честь школа-гимназия № 6.