Родился в фамильном поместье Лучкино Кологривского уезда Костромской губернии в старинной, но небогатой дворянской семье.
По примеру отца и дяди выбрал карьеру флотского офицера. Образование получил в Морском кадетском корпусе, откуда был выпущен в 1856. Отслужив недолго в военном флоте, перешел в «Русское общество пароходства и торговли», затем вновь вернулся во флот, возглавил модельную мастерскую Петербургского порта. В 1866—1877 годах возглавлял Морской музей, занимался созданием военно-морских экспозиций на различных российских и международных выставках.
Во время русско-турецкой войны 1877—1878 предложил вооружить и использовать быстроходные коммерческие суда для нападений на морские коммуникации противника. Одним из первых смог реализовать подобные идеи, получив под свое командование пароход «Веста». 15 июля 1877 года за отличие был награждён орденом св. Георгия 4-й степени и затем пожалован во флигель-адъютанты. Во время кампании на Чёрном море на этом корабле выдержал неравный бой с турецким броненосцем «Фехти-Булен». Впоследствии командуя пароходом «Россия» захватил турецкий транспорт «Мерсина» с многочисленным вражеским десантом. Получил всероссийскую известность и был произведен в капитаны 1-го ранга. Однако вслед за этим разразился скандал: лейтенант З.П. Рожественский опубликовал статью, в которой описал бой как "постыдное бегство" и обвинил Н.М. Баранова в преувеличении заслуг «Весты». В июле 1878 года было назначено судебное разбирательство этого эпизода, через год морское министерство прекратило процесс против Рожественского, предложив Баранову судиться с лейтенантом за нанесенное оскорбление гражданским порядком. Обиженный капитан просил отставки, однако ему было отказано, после чего он подал генерал-адмиралу в. кн. Константину Николаевичу записку, в которой перечислял все нанесенные ему обиды, в том числе недоплаченные призовые деньги за захват "Мерсины". Разгневанный генерал-адмирал довел записку до сведения Александра II, после чего Баранов был предан суду «за неприличные и оскорбительные выражения» В декабре 1879 года Баранов был признан виновным и отставлен от службы.
В Санкт-Петербурге жил на Знаменской улице (ныне ул. Восстания), 25.
В 1880 по ходатайству М. Т. Лорис-Меликова Николай Михайлович переведен в полицию в звании полковника и отправлен за границу для организации надзора за русскими революционерами.
В начале 1881 года Баранов был назначен исполняющим должность губернатора Ковенской губернии.
После убийства императора Александра II в марте-августе 1881 занял пост петербургского градоначальника, для борьбы с террором «Народной воли». Его кандидатуру Александру III посоветовал обер-прокурор К. П. Победоносцев, писавший:
Столичная полиция совместно с жандармами арестовала всех, кто так или иначе оказался причастен к убийству императора. Пятеро главных террористов были публично казнены на Семеновском плацу, остальные получили различные сроки заключения.
После отставки с поста петербургского градоначальника пытался вернуться в «большую политику» предлагая различные проекты. Позднее был назначен губернатором в Архангельск.
В 1882—1897 нижегородский губернатор. В Нижнем Новгороде Баранова не даром звали «орлом», потому что знали, что Баранов всегда брал на себя ответственность и умел защитить своих подчиненных. Последствия неурожая 1891 года он первым назвал голодом и с этим голодом боролся так, как того требовали чрезвычайные обстоятельства. Действуя «вне закона», Баранов спасал свою губернию. Когда в 1892 г. в Н.-Новгороде началась холерная эпидемия, Баранов с такой же решительностью, с таким же увлечением спасал всероссийскую ярмарку не только от эпидемии, но и от связанной с нею паники. На Волге были организованы плавучие госпитали-бараки; когда в них не хватило места, Баранов, не задумываясь, отвел под холерный госпиталь свою резиденцию. Когда появились первые признаки зловещих холерных бунтов, Баранов отдает краткий приказ:
Человек с железной волей в вопросах, которым он придавал государственное значение, Баранов в частной жизни был мягким и на редкость добрым человеком. Весь в долгах, закладывая собственные вещи, он помогал не только знакомым, но еще чаще своим подчиненным. Характерной чертой Баранова было уважение к печати. Прекрасно владея пером, он выступал со статьями в периодической печати в разное время и по разным вопросам. Он настоял на том, чтобы газеты печатали точные, верные сведения о ходе эпидемии в такое время, когда в других городах эти цифры скрывались: Баранов сам верил и других умел убедить в том, что правда спасает, а ложь и обман всегда только губят.
С 1897 сенатор.
Некоторые современники считали его самодуром, интриганом, шарлатаном, но другие были убеждены, что Баранов
.
Умер 30 июля 1901 за границей, похоронен на Новодевичьем кладбище в Санкт-Петербурге. Надгробие не сохранилось.