Родился в купеческой семье, отец его был городским головой в Ораниенбауме.
Окончил Петербургский университет, пройдя курс обучения одновременно на трех факультетах — естественном, историко-филологическом и юридическом, и посвятил себя той идейной издательско-библиотечной деятельности, которая составляет одну из наиболее характерных черт русского народолюбия конца XIX века.
В качестве члена и секретаря комитета грамотности, Н.А. Рубакин был в числе первых, положивших начало оживлению этого долго дремавшего учреждения. Ему же принадлежит инициатива учреждения при педагогическом музее особого отдела для самообразования.
В качестве руководителя издательских фирм О.Н. Поповой, И.Д. Сытина и товарищества «Издатель», Рубакин много сделал для проведения в народную массу и в публику хорошего и серьёзного чтения.
Потребности читающей публики Рубакин изучал систематически, составив сначала «Программу по исследованию литературы для народа» (1889), а затем вступив в обширную корреспонденцию с лицами, отозвавшимися на программу. В связи с другими исследованиями русского книжного и библиотечного дела, это дало Рубакину материал для чрезвычайно интересных докладов и статей, изданных отдельно под заглавием: «Этюды о русской читающей публике».
Н.А. Рубакин — участник русской революции 1905—1907 гг. С 1907 г. жил в Швейцарии, где собрал уникальную русскую библиотеку, постоянно пополнявшуюся книгами, выходившими в России.
Скончался в 1946 г. в Лозанне и был похоронен в Москве. Согласно завещанию, его уникальная библиотека была передана России и составляет фонд «Рб» в Российской государственной библиотеке в Москве.
Заслуги Н. А. Рубакина — ученого и писателя — были признаны и в Российской империи, и за рубежом, и в Советской России (в частности, он имел положительные отзывы от самого В. И. Ленина — за рекомендательный указатель «Среди книг»). Его литературное и научное наследие огромно: 280 книг и брошюр, свыше 350 журнальных публикаций.
Создатель библиопсихологии — науки о восприятии текста. Автор книги «Психология читателя и книги». Разрабатывал идеи Эмиля Эннекена, автора «Эстопсихологии». Его идеи широко используются в психолингвистике.