Первый из семи детей великого князя Михаила Николаевича и Ольги Федоровны (до замужества Цецилия Августа, принцесса и маркграфиня Баденская, младшая дочь великого герцога Леопольда Баденского и Софии Вильгельмины Шведской).
В 1862 году семья переехала в Тифлис, где его отец был кавказским наместником. Получил домашнее образование. В 1870—1872 годах его воспитателем был В. А. Латур-де-Бернгард.
Первый офицерский чин получил в 1875 году; с 1877 года в звании штабс-капитана прикомандирован к переменному составу Кавказской учебной роты, с 1879 года — к Кавказскому 2-у стрелковому батальону.
Участвовал в русско-турецкой войне 1877—1878 годов (на Кавказе); в декабре 1877 года был награждён орденом св. Георгия 4-й степени «за дело 3-го октября, при разбитии армии Мухтара-паши в сражении на Аладжинских высотах (17-го октября 1877 года)».
С 1881 года — в лейб-гвардии Гренадерском полку. В 1882—1885 годах учился в Николаевской академии Генерального штаба. С 1895 года служил 10 лет в Кавалергардском полку, командовал 16 гренадерским Мингрельским полком. С 1897 — командующий Кавказской гренадерской дивизией.
В 1903 году вышел в отставку в звании генерал-лейтенанта.
Великий князь Николай Михайлович — автор многих исторических трудов, посвященных эпохе Александра I и наполеоновских войн. Был председателем Русского Исторического общества, в 1915 году по решению Совета Московского университета получил степень доктора русской истории honoris causa. Возглавлял также Русское Географическое общество, Общество защиты и сохранения памятников искусства и старины, в 1913 году был избран почётным председателем Общества друзей Румянцевского музея.
В 1909 году после смерти отца наследовал огромное состояние, в том числе имения Грушевское в 75 066 десятин и Боржомское в 69 513 десятин.
Придерживался либеральных оппозиционных взглядов, за что получил в светских кругах прозвище Филипп Эгалите в честь видного деятеля французской революции, принца крови и родственника Людовика XVI. Прозвище оказалось провидческим — великий князь, как и Филипп Эгалите, разделил участь монарха и был казнён во время революции.
Его младший брат великий князь Александр Михайлович в своих эмигрантских мемуарах писал:
Как активный участник так называемой «великокняжеской фронды» 31 декабря 1916 года, после убийства Распутина, получил приказание Николая II выехать в свое имение Грушевку, которое исполнил 1 января 1917. Возвратившись в столицу 1 марта 1917 года, немедленно признал власть Временного правительства.
После Октябрьской революции выслан в Вологду. 1 июля 1918 года арестован, перевезен в Петроград, где содержался в Доме предварительного заключения.
9 января 1919 г. Президиум ВЧК (в заседании участвовали Петерс, Лацис, Ксенофонтов и секретарь Мурнек) вынес постановление «Приговор ВЧК к лицам, бывшей императорской своры — утвердить, сообщив об этом в ЦИК».. Несмотря на ходатайства Академии наук и Максима Горького, Ленин подтвердил приговор с формулировкой «революция не нуждается в историках».
Николай Михайлович был расстрелян большевиками в Петропавловской крепости вместе с ещё тремя великими князьями — своим родным братом Георгием Михайловичем и двоюродными — Павлом Александровичем и Дмитрием Константиновичем.
Реабилитирован посмертно 8 июня 2009 года.
Николаю Михайловичу также принадлежит большая роль в развитии отечественной лепидоптерологии. Основным его вкладом были серии публикаций под названием «Memoires sur les Lepidopteres», известные как «Работы Романова». Он первым описал кавказский подвид Papilio alexanor orientalis. В течение 1884—1897 гг. Н. М. романов опубликовал 9 томов своей фундаментальной серии, которые сейчас являются библиографической редкостью, но ими до сих пор пользуются, так как они содержат первоначальные описания десятков видов. Наиболее важными являются красивый окрас бабочек и стадии их развития. Печатная промышленность того времени не давала возможности создать качественные цветные иллюстрации бабочек, поэтому печатались только контуры бабочек, которые потом от руки раскрашивались акварельными красками. По финансовым и техническим причинам значительная часть рисунков осталась нераскрашенной. В 1900 году Романов подарил всю свою коллекцию Зоологическому музею Академии Наук, в Санкт Петербург. К тому времени она стала одной из самых крупных частных коллекций Lepidoptera, содержащей более 110 000 особей, из которых примерно 18 000 были палеарктическими. Коллекция помещалась в 30 сейфов. В этой коллекции было много типовых особей. Они хранятся в Санкт-Петербурге, и бабочки из этой коллекции имеют этикетки на белой бумаге с рисунком царской короны в верхней части и с русским текстом «Собрано Великим князем Николаем Михайловичем». Один из сейфов, который хранился в Ликани, был привезен в 1900 году в Кавказский музей в Тифлисе (сейчас — государственный музей Грузии, Тбилиси).