Трудиться начал с 16 лет строительным рабочим. После окончания Московского авиационного института (1935) работал на авиазаводе, с 1938 — на руководящей партийной и советской работе.
В 1940-1943 секретарь Московского обкома ВКП(б). В годы Великой Отечественной войны — уполномоченный Государственного Комитета Обороны, член Военного совета гвардейских минометных частей. В 1943-1949 секретарь Московского горкома ВКП(б). В 1949-1950 слушатель курсов переподготовки при ЦК ВКП(б). В 1950-1953 начальник технического управления, заместитель председателя Московского горисполкома.
С 1953 года до последних дней жизни был на дипломатической работе: советник, Чрезвычайный и Полномочный Посол СССР в Чехословакии (1954—1955) и Югославии (1955—1957), заместитель Министра иностранных дел СССР (1957-1983), генеральный секретарь Политического консультативного комитета государств — участников Варшавского договора, участвовал в ряде международных конференций и совещаний.
Принимал активное участие в общественной жизни, в 1953—1961 годах являлся депутатом Верховного Совета СССР. Отличался большими организаторскими способностями, высокой ответственностью, добросовестным отношением к делу.
Награждён многими правительственными наградами.
Был трижды женат.
Дети от первого брака: дочь Маргарита и сын Николай.
Вторая жена — Е. А. Фурцева, министр культуры СССР.
После смерти Е.А. Фурцевой (1974) Н.П. Фирюбин ушёл к Клеопатре Гоголевой - вдове Александра Васильевича Гоголева, секретаря Московского обкома КПСС. Они жили на соседних дачах. Клеопатра Гоголева, которую знакомые называли Клерой, была значительно моложе Е.А. Фурцевой.
Юрий Борев в своей книге «Сталиниада» приводит следующую историю о Фирюбине: