В 1794 году Мудров окончил курс гимназии и народного училища и в 1795 поступил в университет, где начал изучать медицину. Командированный за границу, он слушал лекции в Берлинском университете у профессора Гуфеланда, в Гамбурге — у профессора Решлауба, в Геттингене — у Рихтера, в Вене Мудров изучал глазные болезни под руководством профессора Беера. Он также прожил четыре года в Париже, слушая лекции профессоров Порталя, Пинеля, Бойе и др.
За границей Матвей Яковлевич написал сочинение «De spontanea plaucentae solutione», за которое в 1804 году получил степень доктора медицины.
В 1807 году Мудров в городе Вильне заведовал отделением главного военного госпиталя, отличился удачным лечением кровавого поноса, которым страдала русская армия.
С 1808 года Мудров начал читать лекции в московском университете. Первый курс, прочитанный им, рассказывал о гигиене и о болезнях, обычных в действующих войсках. В 1812 он выехал в Нижний Новгород вместе с ректором и другими профессорами; после освобождения Москвы от неприятеля Матвей Яковлевич приложил много стараний при возобновлении анатомической аудитории и 13 октября 1813 года открыл медицинский факультет.
Также усилиями Мудрова в Кремле была возобновлена церковь св. Иоанна Лествичника в колокольне Ивана Великого, освящённая в 1822 году.
В 1813 году был назначен ординарным профессором патологии, терапии и клиники в московском отделении медико-хирургической академии, где открыл клинический институт.
По проекту Мудрова при московском университете в 1820 году были открыты медицинский и клинический институты, директором которых он и был назначен. Пять раз его избирали деканом медицинского факультета.
В 1830 Мудров назначен членом центральной комиссии по борьбе с холерой и был командирован в Саратов, умер от холеры в Петербурге. Похоронен на Холерном кладбище Выборгской стороны (не сохранилось).
В 1878 году в журнале «Русская старина» некто П. П. (возможно, Петр Петрович Пекарский) описал расположение могилы Мудрова на кладбище: «Налево от входа под тремя вековыми елями» в ряду захоронений других известных людей - адмирала Г. А. Сарычева, инженер-генерала К. И. Оппермана, купца В. И. Пивоварова. В конце XIX века холерное кладбище упразднили, и в 1913 году Г. А. Колосов нашел там одинокую гранитную плиту с полустертой надписью: «Под сим камнем погребено тело раба Божия Матвея Яковлевича Мудрова, старшего члена Медицинского Совета центральной холерной комиссии, доктора, профессора и директора Клинического института Московского университета, действительного статского советника и разных орденов кавалера, окончившего земное поприще свое после долговременного служения человечеству на христианском подвиге подавания помощи зараженным холерой в Петербурге и падшего от оной жертвой своего усердия».
Мудрову принадлежат следующие работы:
Оригинальный труд Мудрова заключается в собрании историй болезней всех больных, которых он пользовал в течение 22-х лет. Это собрание состояло из 40 томов небольшого формата, куда Матвей Яковлевич заносил по особой системе все научные сведения о больном, о лекарствах, прописанных ему, и пр.
Мудров был доктором-практиком, придававшим большое значение наблюдению и натуре больных, следуя сочинению профессора виленского университета Иосифа Франка — «Praxeos medicae universae praecepta», и только в 20-х годах стал склоняться к системе доктора Бруссе.
Мудров был известен своей набожностью («Студенческие воспоминания» Ляликова в «Рус. Арх.», 1875, № 11).
Подробная биография Мудрова помещена в «Биограф. словаре проф. москов. унив.» (М., 1855); воспоминания о Мудрове в «Москов. Ведомостях» за 1854 г., № 100.
В Вологде имя Мудрова увековечено в названии небольшой улицы, на доме № 1 по которой установлена мемориальная доска: «Эта улица носит имя нашего земляка, выдающегося деятеля отечественной науки, видного специалиста в области социальной гигиены и клинической медицины Мудрова Матвея Яковлевича». Доска открыта в 1976 году.
Именем Матвея Яковлевича Мудрова назван передвижной консультативно-диагностический центр ОАО «РЖД».