Родился 2 (14) июня 1835 года в Москве в состоятельной еврейской семье фабриканта. Семья Рубинштейнов по отцовской линии вела свой род из Бессарабии, по материнской (Лёвенштейн) — из Восточной Пруссии, и перебралась в Москву из приднестровского села Выхватинец за три года до рождения Николая. Музыкой занимался с 4 лет под руководством матери, а с семи лет концертировал вместе с братом Антоном. Учился в Берлине у Куллака игре на фортепиано и у Дена теории музыки. Затем занимался у Виллуана. Окончив в 1855 году юридический факультет Московского университета, Рубинштейн поступил на службу в канцелярию генерал-губернатора, но в 1857 году бросает службу, разводится и полностью отдает себя музыке. В 1866 году он стал во главе московского отделения [Русское музыкальное общество|Русского музыкального общества]]. А в 1866 году стал директором вновь учрежденной московской консерватории, с которой не расставался до самой смерти. Рубинштейн был выдающимся педагогом по игре на фортепиано, прекрасным капельмейстером и мощным, перворазрядным пианистом-художником.
За границей Рубинштейн концертировал редко: в 1872 году он играл в Вене, в 1872 году организовал русские концерты на всемирной выставке в Париже, являясь первым серьёзным пропагандистом русской музыки во Франции. В этих концертах Рубинштейн выступал дирижером и пианистом. Содействие молодым, начинающим талантам было его страстью. А в композиторской карьере П. И. Чайковского Рубинштейн играл немаловажную роль. Сбор с концертов, данных им в конце 1870-х годов в 33 городах России, был пожертвован им в пользу Красного Креста. Сочинял мало, исключительно фортепианные пьесы и романсы. Под руководством Рубинштейна состоялась первая постановка оперы «Евгений Онегин» силами учеников консерватории. У Николая Рубинштейна учился Александр Зилоти.
Скончался в 1881 году в Париже, но похоронен в Москве на Новодевичьем кладбище. После его смерти был издан московской фирмой Юргенсона альбом со всеми фортепианными сочинениями. Чайковский посвятил Рубинштейну своё фортепианное трио «Памяти великого артиста» (1882).