Николай Николаевич Рыбников родился 13 декабря 1930 года в городе Борисоглебск Воронежской области в семье артиста. Отец — Николай Николаевич Рыбников (1879—1956) в конце 1920-х годов выступал на сцене Малого театра, а в 1937 году был признан народным артистом РСФСР. Николай Рыбников старший также пробовал сниматься в кино, он снялся в 6 советских фильмах, наиболее известными из которых были «Машинист Ухтомский» (1926), «Гибель сенсации» (1935), «Юность» (1937), «Секретная миссия» (1950) и др. Мать, Клавдия Александровна, была домохозяйкой.
Вырос в Сталинграде, где закончил железнодорожную школу (где периодически в одном из углов класса появлялась неубиваемая надпись «В этом углу стоял маленький Коленька Рыбников»). Учился в школе N 5 (бывшей мужской гимназии). Здесь, на подмостках школьной сцены, и были замечены его актёрские способности.
Николай Рыбников рано остался без матери, Клавдии Александровны. В 1944 году уехал в Сталинград его отец Николай Николаевич. Сын перебрался к нему. Некоторое время они жили вместе, но отец вскоре умер.
Николай Рыбников был актёром вспомогательного состава Сталинградского драматического театра. Учился в Сталинградском медицинском институте.
Позже, в 1948, Николай поехал в Москву учиться на артиста и поступил в Всесоюзный государственный институт кинематографии (мастерская С. Герасимова и Т. Макаровой), который закончил в 1953 году.
В памяти Тамары Федоровны Рыбников остался человеком большого темперамента, которому по плечу были и Шекспир, и Шиллер, а ему все предлагали играть, как с горечью говорил в конце жизни сам актёр, бригадиров. Творческий диапазон его был необъятен. Как вспоминают сокурсники, ему удавались Жюльен Сорель и Хлестаков, Макар Нагульнов и пушкинский Дон Гуан, Бенкендорф, изъясняющийся только по-французски.
Московский период актёра, его женитьба на Алле Ларионовой, их любовь и круг общения на уровне мировых знаменитостей достаточно полно описаны во множестве столичных изданий.
Рыбников умел мастерски имитировать чужие голоса и вместе с друзьями часто устраивал розыгрыши. Так однажды любовь к розыгрышам чуть не стоила ему карьеры артиста. Об этой истории рассказал впоследствии в своем фильме «Какая чудная игра» (1995) Петр Тодоровский. В апреле 1951 года Николай, прячась в шкафу, зачитал голосом Юрия Левитана правительственное постановление о снижении розничных цен. Согласно этому постановлению, с 1 апреля цены на продовольствие снижались в 5 раз, на винно-водочные изделия в 7 раз, а соль и спички должны были отпускать бесплатно. Сообщение студенты встретили громом аплодисментов и криками: «Да здравствует товарищ Сталин!» и «Слава советскому правительству!» Обман вскоре раскрылся, и Рыбникова отчислили из ВГИКа, но вскоре восстановили.
С 1953 года — актёр Театра-студии киноактёра.
Дебют в кино — прошедший почти незамеченным фильм «Команда с нашей улицы», роль Дроздова. По-настоящему его актёрский талант раскрылся у режиссёров А. Алова и В. Наумова в картине «Тревожная молодость». Рыбников в этой роли был удивительно сдержан, немногословен, скуп на эмоции. Его работу отметили критики.
В следующей своей роли в фильме М. Швейцера «Чужая родня» он сумел создать абсолютно противоположный образ. Его утверждение на эту роль было трудным. В длинном списке кандидатов на роль сельского механизатора Федора фамилия актёра Рыбникова была самой последней.
Слава пришла к артисту после полюбившейся зрителям ленты «Весна на Заречной улице» (1956), поставленной Ф. Миронером и М. Хуциевым. Герой Рыбникова — Саша Савченко — обыкновенный парень. По профессии он сталевар, по должности — бригадир, по социальной прописке — исконный житель рабочих окраин. Режиссёр картины М. Хуциев вспоминает, что на главную роль они искали совсем другого исполнителя. И всё же Рыбников получил эту роль, достойную его дарования. Но как доставалась Рыбникову каждая сцена! М. Хуциев писал: «Он способен думать о роли всё время и каждый день приносить новые решения. Он всё время носит в себе образ, над которым трудится. Он не стесняется трудиться».
В фильме «Высота» (1957) режиссёра А. Зархи счастье Николая — в сооружении им огромной домны. Он — хозяин жизни. Таким и видит его задиристая, колючая Катя (одна из лучших ролей Инны Макаровой) и влюбляется в него безоглядно. Актриса с волнением вспоминала один из эпизодов фильма, когда Рыбников, как и положено по роли, лихо спускается на руках по железному тросу. В этот момент актриса слышит: «Второй дубль!» — и видит окровавленные ладони Рыбникова, который не успел на «первый дубль» надеть рукавицы.
В 1958 году Николай Рыбников снялся в картине Э. Рязанова «Девушка без адреса», и хотя публика горячо приняла фильм (он занял в прокате второе место), критика сочла его не слишком удачным. Тем не менее, в 1961 году актёр согласился сниматься в комедии, когда режиссёр Юрий Чулюкин пригласил его на главную роль лесоруба Ильи Ковригина в фильме «Девчата». Эта картина имела огромный зрительский успех и по сей день остается в числе лучших комедий советского кино.
«Профессионалом он был потрясающим, — отмечала Надежда Румянцева. Фильм снимали на Северном Урале. Мороз — за 45 градусов. Просыпаешься ночью — все в инее. Потом по этому морозу долго едем в розвальнях на делянку, где снимали многие фрагменты фильма. Операторы держат камеры под полушубками, иначе моторы отказывают. Ждем, когда в термосах привезут обед. Разливаю его в миски, а он тут же превращается в лед. И вот предлагаю испробовать этот „суп“ Илье (Николаю). Он кладет ложку в рот… а вынуть не может. Отогрел, вытащил её с куском кожи. Потекла кровь. „Ну, — говорим, — все“. Видим же — распухает щека. А Коля: „Нет. Будем снимать“. И опять сует ложку в свой больной рот. Сняли! А он потом так тихонечко в сторону отворачивается и… лужица крови. Представляю, какую адскую боль он испытывал…». И Румянцева добавила: «У него был узкий круг знакомых. Он не очень подпускал к себе, не любил, когда, знаете: „О, Рыбников! Коля!“ Нет. Он был очень сдержан».
В дальнейшем Николая Рыбникова много снимали, на его счету такие фильмы, как «Им покоряется небо», «Война и мир», где он исполнил роль Василия Денисова, «Освобождение», «Хоккеисты».
Во время съемок фильма «Высота» произошли перемены в личной жизни актёра — 2 января 1957 года он женился на актрисе Алле Ларионовой, через несколько месяцев родилась её дочь Алёна от актёра Ивана Переверзева, с которым Алла жила в гражданском браке. Николай Рыбников признавал Алёну за свою дочь. В 1961 году в семье появилась дочь Арина, которая умерла в достаточно молодом возрасте. Алена сейчас на пенсии (работала монтажером на ТВ).
Большой успех выпал на долю картины «Седьмое небо» (1972), в которой Николай Рыбников снялся со своей женой Аллой Ларионовой.
В конце 1970-х и в 1980-х годах актёра приглашали сниматься всё реже и по большей части в эпизодических ролях. Наиболее яркая роль Рыбникова этого периода — Кондратий Петрович в ленте «Выйти замуж за капитана» (1985).
Рыбников умер от сердечного приступа 22 октября 1990 года. Похоронен в Москве на Троекуровском кладбище.
В 2007 году вышли воспоминания Л. С. Полухиной «Алла Ларионова и Николай Рыбников» о любви двух известных актёров.