Родился в Ливенском уезде Орловской губернии. В 1818—1820 проходил обучение в Благородном пансионе при Педагогическом институте в Петербурге. Его учителями были В. К. Кюхельбекер, К. П. Арсеньев, А. П. Куницын.
В 1824—1834 служил в Московском архиве коллегии иностранных дел, где вступил в кружок «любомудров». Вместе с С. П. Шевыревым и с В. П. Титовым перевёл книгу Л. Тика и В. Г. Вакенродера «Об искусстве и художниках» (1826). В 1834 вышел в отставку. Много времени провёл за границей, занимаясь популяризацией русской литературы. В 1837 в Германии вышла книга немецкого писателя Г. И. Кёнига «Очерки русской литературы», которую он написал на основе бесед с Мельгуновым.
Как теоретик музыки, занимался изучением гармонии и ритмики русской народной песни. Большое значение для русской фольклористики имел выпущенный Мельгуновым в 1879 году сборник «Русские песни, непосредственно с голосов народа записанные» (с важным научным предисловием). Особенность нового подхода Мельгунова заключалась, в частности, в письменной фиксации не только некоего ведущего голоса («мелодии» в обыденном понимании) многоголосной песни, но и каждого из подголосков записанной собирателем оригинальной гетерофонной фактуры (визуально эти гетерофонные варианты собиратель отобразил столбиком, один вариант под другим). На музыкально-теоретические концепции Мельгунова прямое влияние оказали популярные в его время «античные» исследования Ф.О. Геварта и Р. Вестфаля.
Мельгунов также известен как автор повестей, очерков, литературоведческих и музыковедческих статей, романсов.
Похоронен на Ваганьковском кладбище.