Родился в 1861 году в Одессе. Учился в Керченской Александровской гимназии в 1871—1880 гг., где у него возник профессиональный интерес к геологии. Живший в Керчи Н. И. Андрусов изучил геологическую стратиграфию Восточного Крыма. Закончил Новороссийский университет в 1884 год, дополнял образование в заграничных университетах и лабораториях. Женат на Надежде Генриховне Андрусовой (1861—1935), урождённой Шлиман — дочери немецкого археолога Г. Шлимана.
Сестра Юлия Ивановна Фаусек (1863—1943) была известным педагогом дошкольного воспитания и образования.
Преподавал в Петербургском и Новороссийском университетах. В 1896—1904 — профессор минералогии Юрьевского университета (1896—1904). В 1905—1912 — профессор Киевского университета; 1912—1914 — профессор Высших женских курсов в Петербурге и сотрудник Геологического комитета; 1914—1918 — директор Геологического музея Петроградской Академии наук; 1918—1920 — профессор Таврического университета. С 1921 работал в лабораториях Сорбонны в Париже и Карлова университета в Праге.
Работы Н. И. Андрусова, опубликованные в конце XIX — в начале XX веков, внесли значительный вклад в стратиграфию, палеонтологию, палеографию, палеоэкологию, океанологию. Николаем Андрусовым была разработана детальная стратиграфия неогеновых отложений Понто-Каспийской области, работа, которая считается образцом чёткости и точности подразделений. Дальнейшие работы лишь детализировали схему Н. И. Андрусова. Плодотворность наследия Николая Андрусова повлияла и на практику открытия месторождений нефти на новых территориях.