Первый из семи детей великого князя Михаила Николаевича и Ольги Федоровны (до замужества Цецилия Августа, принцесса и маркграфиня Баденская, младшая дочь великого герцога Леопольда Баденского и Софии Вильгельмины Шведской).
В 1862 году семья переехала в Тифлис, где его отец был кавказским наместником. Получил домашнее образование. В 1870—1872 годах его воспитателем был В. А. Латур-де-Бернгард.
Первый офицерский чин получил в 1875 году; с 1877 года в звании штабс-капитана прикомандирован к переменному составу Кавказской учебной роты, с 1879 года — к Кавказскому 2-у стрелковому батальону.
Участвовал в русско-турецкой войне 1877—1878 годов (на Кавказе); в декабре 1877 года был награждён орденом св. Георгия 4-й степени «за дело 3-го октября, при разбитии армии Мухтара-паши на Аладжинских высотах (17-го октября 1877 года)».
С 1881 года — в лейб-гвардии Гренадерском полку. В 1882—1885 годах учился в Николаевской академии Генерального штаба. С 1895 года служил 10 лет в Кавалергардском полку, командовал 16 гренадерским Мингрельским полком. С 1897 — командующий Кавказской гренадерской дивизией.
В 1903 году вышел в отставку в звании генерал-лейтенанта
Автор многих исторических трудов, посвященных эпохе Александра I и наполеоновских войн. Одно время был директором Императорского Русского музея.
В 1909 году после смерти отца наследовал огромное состояние, в том числе имения Грушевское в 75 066 десятин и Боржомское в 69 513 десятин.
Придерживался либеральных оппозиционных взглядов, за что получил в светских кругах прозвище Филипп Эгалите в честь видного деятеля французской революции, принца крови и родственника Людовика XVI. Прозвище оказалось провидческим — великий князь, как и Филипп Эгалите, разделил участь монарха и был казнён во время революции.
В 1915 году по решению Совета Московского университета получил степень доктора русской истории honoris causa.
Его младший брат великий князь Александр Михайлович в своих эмигрантских мемуарах писал:
Нас называли «опасными радикалами»; первая часть прозвища «опасные» отражала досаду придворных кругов, вторая — «радикалы», быть может, и соответствовала истине, но зависела всецело от смысла, придаваемого этому слову, которым нередко злоупотребляют. Мой старший брат Николай Михайлович был несомненно самым «радикальным» и самым одаренным членом нашей семьи. Моя мать мечтала о его блестящей военной карьере, и, чтобы доставить ей удовольствие, мой брат Николай окончил военное училище с отличием. Однако истинное его призвание было в отвлеченных исторических изысканиях. <…> Постепенно он отдалялся от связей с военным миром и проводил все свое время в исторических архивах С. Петербурга и Парижа. Его монументальная биография Императора Александра I, написанная после долгих лет собирания материалов и проверки дат, останется непревзойденной в исторической русской литературе. <…> Книга, которая была переведена на французский язык, произвела сенсацию в среде французских наполеонистов, заставив их пересмотреть, исправить и даже пересоставить целый ряд исторических трактатов. <…> Николаю Михайловичу было, по-видимому, определенно неприятно объяснять многое из того, что происходило в России, своим друзьям в Коллеж де Франс и в Палате депутатов. Не могу сказать, чтобы я был вполне согласен с его «офранцуженными» политическими симпатиями. Будучи горячим поклонником парламентарного строя и убежденным почитателем словесных дуэлей Клемансо — Жореса, он не хотел допустить того, что создание в России конституционного строя по образцу III французской республики закончилось бы полным провалом. Истина заключалась в том, что он родился не в той стране, где ему следовало бы родиться.
Как активный участник так называемой «великокняжеской фронды» 31 декабря 1916 года, после убийства Распутина, получил приказание Николая II выехать в свое имение Грушевку, которое исполнил 1 января 1917. Возвратившись в столицу 1 марта 1917 года, немедленно признал власть Временного правительства.
После Октябрьской революции выслан в Вологду. 1 июля 1918 года арестован, перевезен в Петроград, где содержался в Доме предварительного заключения. Расстрелян большевиками в Петропавловской крепости вместе с ещё тремя великими князьями — своим родным братом Георгием Михайловичем и двоюродными — Павлом Александровичем и Дмитрием Константиновичем.
Реабилитирован посмертно 8 июня 2009 года.
Николаю Михайловичу также принадлежит большая роль в развитии отечественной лепидоптерологии. Основным его вкладом были серии публикаций под названием «Memoires sur les Lepidopteres», известные как «Работы Романова». Он первым описал кавказский подвид Papilio alexanor orientalis. В течение 1884-1897 гг. Н.М. романов опубликовал 9 томов своей фундаментальной серии, которые сейчас являются библиографической редкостью, но ими до сих пор пользуются, так как они содержат первоначальные описания десятков видов. Наиболее важными являются красивый окрас бабочек и стадии их развития. Печатная промышленность того времени не давала возможности создать качественные цветные иллюстрации бабочек, поэтому печатались только контуры бабочек, которые потом от руки раскрашивались акварельными красками. По финансовым и техническим причинам значительная часть рисунков осталась нераскрашенной. В 1900 году Романов подарил всю свою коллекцию Зоологическому музею Академии Наук, в Санкт Петербург. К тому времени она стала одной из самых крупных частных коллекций Lepidoptera, содержащей более 110 000 особей, из которых примерно 18 000 были палеарктическими. Коллекция помещалась в 30 сейфов. В этой коллекции было много типовых особей. Они хранятся в Санкт-Петербурге, и бабочки из этой коллекции имеют этикетки на белой бумаге с рисунком царской короны в верхней части и с русским текстом "Собрано Великим князем Николаем Михайловичем". Один из сейфов, который хранился в Ликани, был привезен в 1900 году в Кавказский музей в Тифлисе (сейчас – государственный музей Грузии, Тбилиси).