Жемчужников проходил обучение в Первом кадетском корпусе, после чего 25 февраля (9 марта) 1806 года был произведён подпоручики артиллерии, при этом был назначен адъютантом к графу А. А. Аракчееву. Он недолго прослужил в этой должности и написал рапорт о переводе в строевую службу. После этого он был назначен на Кавказ в седьмой артиллерийский полк.
Полк в том же году был переименован в 21 артиллерийскую бригаду. В 1810 году Жемчужников принимал участие в двух военных операциях: против закубанских народов и против кабардинцев. Был награжден орденом св. Владимира 4 ст. с бантом. В том же году он перешёл служить службу в Первый кадетский корпус, а через два года перешёл в 11-ю артиллерийскую бригаду, которая позже была переименована в 24-ю.
М. Н. Жемчужников воевал в Отечественной войне 1812 года, где участвовал в сражениях на территории России и за границей. 1 (13) марта 1814 года, в заграничном походе российских войск при отступлении от города Реймса, Михаил Николаевич был взят в плен и пробыл там до 30 мая (11 июня) 1814 года, когда был заключён мир. В 1815 году он принял участие в походах в Польшу, Германию и Францию.
1 (13) марта 1820 года М. Н. Жемчужников вышел в отставку по домашним обстоятельствам. В 1827 году он поступает на государственную гражданскую службу в корпус жандармов жандармским штаб-офицером в город Орёл. Активно выявляя злоупотребления местных властей он разоблачил деятельность Орловского гражданского губернатора П. А. Сонцова, губернского прокурора Андреева, а также губернского предводителя дворянства Г. Милорадовича. В результате П. А. Сонцов был разжалован и его место занял А. В. Кочубей.
В 1831 году М. Н. Жемчужников активно участвовал в военной кампании против Польши. Вступил в пределы Царства Польского вместе с главной квартирой, находясь при главнокомандующем действующей армии И. И. Дибиче-Забалканском. Участвовал в сражениях войны, в том числе во взятии Варшавы. За воинскую доблесть он был награждён несколькими орденами. В был произведён в звание генерал-гевальдингера, занял должность генерал-полицеймейстера действующей армии.
В 1832 году следующей ступенью карьеры стала должность действительного статского советника и вместе с этим назначен на должность Костромского гражданского губернатора. В этой должности он выполнял высочайшее поручение по расследованию и пресечению раскольнической деятельности купца Н. А. Папулина, который основал в Судиславле убежище для беглых людей, где укрывал порядка 170 человек. Через три года из-за смерти жены с формулировкой по состоянию здоровья он был уволен и причислен к министерству внутренних дел.
В 1835 году М. Н. Жемчужников снова занял высокий пост, став Санкт-Петербургским гражданским губернатором. Выполнял массу поручений, таких как взыскание податей и недоимок, приём рекрутов, а также по реформации системы управления государственным имуществом. Он был неоднократно отмечен государем и получал денежные и орденские награды. Жемчужников активно занимался общественной деятельностью, создал на свои средства церковь Николая Чудотворца при больнице святого Николая. При Жемчужникове были открыты больницы в Шлиссельбурге и Ямбурге. 30 декабря 1840 года он был произведён в тайные советники, вместе с этим ему повелено было присутствовать в Правительствующем Сенате.
Позже Жемчужников получал разнообразные государственные поручения:
Его деятельность на этом поприще была отмечена орденом Святого Александра Невского, к которому в 1854 году были добавлены алмазные знаки этого ордена.
В 1858 году Жемчужников получил сан действительного тайного советника, и в 1863 году ему были пожалованы «в вечное и потомственное владение 4600 десятин удобной и неудобной земли» в Самарской губернии. В 1865 году он получил орден святого Владимира 1 степени. Михаил Николаевич Жемчужников умер 3 (15) сентября 1865 года будучи на службе.