Николай Николаевич Пальмов родился 21 декабря 1872 года в городе Астрахани в семье православного священника. После окончания Астраханской духовной семинарии Пальмов Н. Н. поступил в Киевскую Духовную академию, которую закончил в 1897 году, защитив диссертацию на тему «Пострижение в монашество». С 1912 по 1918 гг. Пальмов Н. Н. преподавал в Киевской Духовной академии. В эти же годы он становится членом Киевского и Московского археологических обществ. В 1917 г. Пальмов Н. Н. принимал участие в работе общества Нестора-летописца при Киевском университете и в организации Киевского археологического института.
В 1918 году Пальмов Н. Н. вернулся на родину, в Астрахань, где стал преподавать в Астраханском университете и с 1920 года — в Институте народного образования. После закрытия Астраханского университета Пальмов Н. Н. в 1921 году поступил на работу в архивно-музейную секцию при Отделе народного образования Калмыцкой автономной области, где ему было поручено организовать архив и национальный калмыцкий музей. 23 марта 1921 года при непосредственном участии Пальмова Н. Н. в Элисте был оcнован краеведческий музей, ставший впоследствии Национальным музеем Калмыкии. В 1922 году он стал руководителем основанного им музея. В конце 1923 года разделения архивно-музейного отдела при Оделе народного образования Николай Пальмов стал руководить архивным отделом.
В 1922 году Пальмов Н. Н. написал научную работу «Очерк истории калмыцкого народа за время его пребывания в пределах России». В 1927 году эта работа была переведена на калмыцкий язык калмыками-эмигрантами в Праге и издана на калмыцком письме Тодо-бичиг.
В 1931 году дореволюционная деятельность Пальмова Н. Н. была воспринята негативно советскими властями и его хотели освободить от занимаемой должности заведующего Калмыцким архивным бюро. В защиту Пальмова Н. Н. высказались руководители Калмыкии и он остался на своей должности.
11 февраля 1934 года Пальмов Н. Н. умер утром по пути на работу.
Согласно постановлению Совета министров Калмыцкой АССР № 282 от 29 мая 1968 года Национальному музею Калмыкии присвоено имя профессора Н. Н. Пальмова.