Родился 3 января 1936 года в селе Емецк Архангельской области. В 1940 году переехал вместе со своей многочисленной семьёй в Вологду, где Рубцовых и застала война.Вскоре умерла мать Рубцова и детей распределили в интернаты. Отец Николая, Михаил Андрианович Рубцов (1900—1962), ушёл на фронт, после войны женился вторично, оставив собственных детей от первого брака в интернате, жил в Вологде.Николая направили в Никольский детский дом Тотемского района Вологодской области, где он окончил семь классов школы. Здесь впоследствии родилась его дочь Елена в гражданском браке с Меньшиковой Генриеттой Михайловной.
С 1950 года по 1952 год будущий поэт учился в Тотемском лесотехническом техникуме. Затем с 1952 года по 1953 год работал кочегаром в архангельском траловом флоте треста «Севрыба», с 1953 года по 1955 год учился в горно-химическом техникуме Минхимпрома в г. Кировск (Мурманская область). С марта 1955 Рубцов был разнорабочим на опытном военном полигоне.
С октября 1955 года по 1959 год проходил армейскую службу на Северном флоте (в звании матроса и старшего матроса). После демобилизации жил в Ленинграде, работая попеременно слесарем, кочегаром и шихтовщиком на Кировском заводе.
В августе 1962 года Рубцов поступает в Литературный институт им. М. Горького в Москве и знакомится с Владимиром Соколовым, Станиславом Куняевым, Вадимом Кожиновым и другими литераторами, чьё дружеское участие не раз помогало ему и в творчестве, и в делах по изданию стихов. С пребыванием в институте вскоре возникли проблемы, однако поэт продолжает писать, и в середине 1960-х у него выходят первые сборники.
В 1969 году Рубцов оканчивает Литературный институт, получает первую в своей жизни отдельную однокомнатную квартиру.
Погиб 19 января 1971 (в день Крещения) в Вологде на улице Яшина в доме номер 3, в результате семейной ссоры с начинающей поэтессой Людмилой Дербиной (Грановской), на которой собирался жениться (5 января они подали документы в ЗАГС). Судебным следствием установлено, что смерть наступила в результате удушения. Людмила Дербина была осуждена на 7 лет (была досрочно освобождена через 4 года). Биографы упоминают о стихотворении Рубцова «Я умру в крещенские морозы» как о предсказании даты собственной трагической смерти. В Вологодском музее Н. Рубцова хранится завещание поэта, найденное после смерти "Похороните меня там, где похоронен Батюшков".
Похоронен в Вологде на Пошехонском кладбище
Вологодская «малая родина» и Русский Север дали ему главную тему будущего творчества — «старинную русскую самобытность», стала центром его жизни, «землёй… священной», где он чувствовал себя «и живым, и смертным» (см. Борисово-Судское).
Его первый сборник был выпущен в 1962 году. Он назывался "Волны и скалы". Вторая книга стихов «Лирика» вышла в 1965 в Архангельске. Затем были изданы поэтические сборники «Звезда полей» (1967), «Душа хранит» (1969), «Сосен шум» (1970). Готовившиеся к печати «Зелёные цветы» появились уже после смерти поэта.
После смерти были опубликованы сборники: «Последний пароход» (Москва, 1973), «Избранная лирика» (Вологда, 1974), «Подорожники» (Москва, 1975), «Стихотворения» (1977).
Поэзия Рубцова, предельно простая по своей стилистике и тематике, связанной преимущественно с родной Вологодчиной, обладает творческой подлинностью, внутренней масштабностью, тонко разработанной образной структурой.
О своей поэзии сам Николай Рубцов написал:
Я переписывать не стану
Из книги Тютчева и Фета,
Я даже слушать перестану
Того же Тютчева и Фета.
И я придумывать не стану
Себя особого, Рубцова,
За это верить перестану
В того же самого Рубцова,
Но я у Тютчева и Фета
Проверю искреннее слово,
Чтоб книгу Тютчева и Фета
Продолжить книгою Рубцова!..
В 1982 в альбоме «Звезда полей» (Сюита на стихи Николая Рубцова) Александр Градский исполнил песни на слова Николая Рубцова.