Окончил Московское Синодальное училище церковного пения, где обучался у В. С. Орлова и А. Д. Кастальского, впервые выступил как дирижёр в 1909 году.
По окончании Московской консерватории по классу композиции Сергея Василенко и Михаила Ипполитова-Иванова. В 1915–53 (с перерывами) работал в Большом театре. В 1928 году в связи со сфабрикованным делом о «головановщине» уволен, в 1930 восстановлен. В 1936 снова уволен. В 1948–53 работал главным дирижёром театра. В 1953 уволен.
Во второй половине 1920-х годов против Н.С.Голованова была развязана кампания политической травли, так называемая «головановщина». По мнению группы трудящихся (месткома, профкома, комитета ВЛКСМ) во главе с партийной ячейкой ГАБТа, при непосредственном участии композитора С.Василенко и дирижёра А.Пазовского, Голованов стремился «перенести в советский театр старые, буржуазные нравы и методы работы», был чересчур «консервативным» (в действительности — противился постановкам советского оперного «новодела»), отказывался продвигать молодых артистов, поддерживал «несправедливо высокие» размеры гонораров ведущим музыкантам. Кампания получила большой резонанс в средствах массовой информации и даже привлекла внимание И.В.Сталина. Статьи в прессе носили агрессивный, «обличительный» характер:
Принятые партией и комсомолом «меры» обеспечили «преодоление головановщины» и имели результатом увольнение артиста.
В 1926—1929 Голованов возглавлял Московский филармонический оркестр. В 1937 году был назначен художественным руководителем и главным дирижёром Большого симфонического оркестра и оперного радиотеатра Всесоюзного радиокомитета, которым руководил до своей смерти. Под управлением Голованова чаще всего исполнялись эпические масштабные сочинения русских композиторов («Борис Годунов» и «Хованщина» Мусоргского, «Иван Сусанин» Глинки, «Шехеразада» Римского-Корсакова и др.). Во время войны, находясь в Москве, продолжал давать концерты, работал на радио. В 1925—1929 и 1943—1948 преподавал в Московской консерватории (профессор оркестрового и оперного классов). Среди учеников Голованова дирижёры Л.Гинзбург, Г.Рождественский, Б.Хайкин.
Похоронен на Новодевичьем кладбище.
Звучание оркестра Голованова отличали идеальная фразировка, динамизм интерпретации, гармоничное сочетание симфонических и драматических элементов театрального действия. Под управлением Голованова состоялись первые исполнения Пятой, Шестой, Двадцать второй и Двадцать третьей симфоний Мясковского, Второй симфонии Хренникова, Третьей Рахманинова (впервые в СССР).
В духе своего времени Голованов допускал активное вмешательство в авторский текст партитур. По свидетельству К. Зандерлинга, Голованов «как никто умел заставить оркестр исполнять то, что хочет дирижер, и в ритмическом, и в звуковом отношении. Но то, что он делал с музыкой, — почти преступно. Он все переворачивал по-своему, выравнивал все темпы. Я помню, он „Картинки с выставки“ играл без интерлюдий. Он играл „Реквием“ Моцарта с бас-трубой!» В собственных версиях Голованов, например, записал оперы Мусоргского (внёс собственную правку в редакцию оперы «Борис Годунов», осуществлённую Римским-Корсаковым) и Римского-Корсакова («Садко» — купюры, изменения в оркестровке).
Будучи хорошим пианистом, он часто выступал в качестве аккомпаниатора вместе с женой, певицей Антониной Неждановой.
Голованов — автор ряда оригинальных сочинений: оперы «Принцесса Юрата», симфонии, двух симфонических поэм, оркестровых сюит, Увертюры на русские темы, более 200 романсов, обработок народных песен, ряд сочинений на духовную тему.