Родилась в городе Невель Витебской губернии, в еврейской семье. Ее отец — Вениамин Гаврилович Юдин, врач и судмедэксперт, Герой Труда. Мать — домохозяйка Раиса Яковлевна Юдина (урожденная Златина; 1868, Москва — 24 марта 1918, Невель).
Её братья и сёстры:
С детства отличалась страстным, неукротимым темпераментом, а её интересы были чрезвычайно широки и никогда не ограничивались музыкой.
Первые уроки игры на фортепиано получила в возрасте шести лет от ученицы Антона Рубинштейна Фриды Тейтельбаум-Левинзон.
В 1912 поступила в Петербургскую консерваторию, где училась в классах фортепиано Анны Есиповой, затем Феликса Блуменфельда, Анатолия Дроздова, Леонида Николаева, а также изучала широкий круг других дисциплин. Блестяще окончив консерваторию в 1921, была принята в штат консерватории и начала активную концертную деятельность, впервые выступив с оркестром Петроградской филармонии под управлением Эмиля Купера. Первое сольное выступление Юдиной в Москве состоялось в 1929 году.
В 1930 Юдину увольняют из Ленинградской консерватории после газетных публикаций в рамках борьбы с религиозными взглядами преподавателей (Кружок «Воскресение»).
Два года спустя ей удаётся получить место профессора в консерватории Тбилиси, а с 1936 (при содействии Генриха Нейгауза) — в Московской консерватории, где она работала до 1951.
В 1944—1960 Юдина преподавала в Институте имени Гнесиных.
В 1960 году была уволена из Гнесинского института из-за своих православных убеждений и за симпатии к современной западной музыке (включая эмигрировавшего Стравинского). Она продолжала давать публичные концерты, но ей было отказано в записях. После того, как в Ленинграде она прочла со сцены стихи Бориса Пастернака в ответ на вызов на бис, Юдиной был запрещено концертирование на срок в пять лет.
В 1965 на выставке В. Ватагина познакомилась с Александром Менем.
В 1966 году прочла цикл лекций по романтизму в Московской Консерватории.
Была православной по вероисповеданию. Посещала храм Николы в Кузнецах. Её духовным настоятелем был протоиерей Всеволод Шпиллер. Юдина прожила всю жизнь в бедности и лишениях: не имела собственного рояля, ходила много лет в одном платье, часто недоедала. Она была убеждена, что художник должен быть беден. Всегда помогала страждущим, вызволяла из ссылок репрессированных друзей. Последний концерт пианистки состоялся в 1969 году.
Юдина относилась к числу любимых пианистов Иосифа Сталина. Однажды ночью 1944 года, когда Сталин неожиданно услышал по радио трансляцию фортепианного концерта № 23 Моцарта, у него на глазах появились слезы, и он немедленно потребовал сделать оттиск, чтобы всегда иметь при себе пластинку. Когда Юдина приехала домой после концерта, то надолго уснуть ей не удалось: ее разбудили офицеры, увезли в студию звукозаписи, где ее уже поджидал наскоро собранный небольшой оркестр, — и так была сделана запись прямо в середине ночи, а единственная копия была оттиснута с матрицы и затем представлена Сталину (матрица выжила, и запись доступна на компакт-диске).
Несмотря на признание со стороны вождя, пианистка оставалась бескомпромиссным критиком режима. А когда ей выдали Сталинскую премию, то она пожертвовала ее Православной Церкви на покрытие «бесконечных сталинских грехов». Я. С. Назаров рассказывает: «У меня есть два врага, — говорит Юдина, прибирая со стола после обеда, — крошки и Советская власть». Однако М. В. Юдина, по свидетельству её ученицы М. Дроздовой, «не была диссиденткой… ничего не провозглашала, не писала писем протеста, не звала на демонстрацию».
Мария Юдина была широко концертирующим исполнителем, выступавшим преимущественно с сольными концертами или в камерном ансамбле (особенно с Квартетом имени Бетховена и Квартетом имени Глазунова). В круг её интересов входила, прежде всего, новейшая русская и мировая музыка: Юдина была первым в СССР исполнителем ряда произведений А. Берга, П. Хиндемита, Э. Кшенека, Б. Бартока, А. Веберна, О. Мессиана и др.; многолетнее творческое содружество связывало её с C. С. Прокофьевым и Д. Д. Шостаковичем. Вместе с тем Юдина известна как одна из лучших исполнительниц музыки Шуберта, И. С. Баха, Бетховена, Брамса и Моцарта.
Стиль Юдиной — играть всё «под Шуберта»: проникновенно-драматично, певуче, ясно, предпочитая замедленные темпы. Ярким примером подобного предпочтения в интерпретации музыкального произведения является запись Юдиной сонаты № 5 Бетховена. Вряд ли можно назвать такое исполнение аутентичным, но Юдина к этому и не стремилась; ее целью всегда было — вызвать катарсис в душах слушателей. Так что здесь, как и во всём остальном, что делала Мария Вениаминовна, она оставалась учителем.
В фильме «Рихтер непокорённый» Святослав Рихтер вспоминает, что она играла «большую сонату Шуберта — очень хорошо!.. Хотя всё шиворот-навыворот. Она играла Баха во время войны — прелюдию си-бемоль минор — быстро и фортиссимо. И когда Нейгауз потом пошёл её поздравлять в артистическую, он сказал:
— Ну, скажите, пожалуйста! Почему Вы это так играете? Вот так!
— А сейчас война!
Вот, это типичная Юдина: „А сейчас война!“. Но после её концертов у меня болела голова… Она… насилие было какое-то над публикой, страшное насилие. Большой талант была!..»
Мария Вениаминовна Юдина обладала и литературным даром. Она оставила обширную переписку (с И. Ф. Стравинским, П. Сувчинским, К. И. Чуковским, Б. Пастернаком, Карлхайнцем Штокхаузеном и др.), пространные воспоминания о Вл. Софроницком, М.Бахтине, П. Флоренском, Л. Карсавине, Ал. Ухтомском, А. М. Горьком, М. Цветаевой, Б.Пастернаке, К. Паустовском, А. Кочеткове, Н. Заболоцком и др. В памяти слушателей остались рассказы Юдиной о музыке и композиторах, которыми сопровождались её концерты 1960-х гг.
В начале 1930-х гг. Юдина была дружна с известным философом А. Ф. Лосевым.
Иногда считается, что Юдина выведена в романе Лосева «Женщина-мыслитель» в образе Марии Валентиновны Радиной; именно это обстоятельство спровоцировало ссору между Юдиной и Лосевым, окончившуюся разрывом в 1934 году.
Однако по мнению других исследователей, образ Радиной у Лосева не имеет сколько-нибудь существенного сходства с реальной Юдиной, а Лосев не преследовал цель оскорбить или высмеять Юдину.