Родился 17 декабря 1930 года в Тильзите, Восточная Пруссия, Германия (ныне — Советск Калининградской области России) в многодетной семье банковского служащего.
В 1949 году в Берлине окончил консерваторию по специальности учитель музыки. С 1952 года играл на сцене берлинских театров. В 1960 году началась его карьера в кино: после роли в фильме Франка Байера «Пять патронных гильз» о Гражданской войне в Испании Мюллер-Шталь встречался с Фиделем Кастро и Эрнесто Че Гевара. Стал лауреатом государственной премии ГДР за исполнение роли офицера госбезопасности в фильме «Невидимое забрало». В результате зрительских опросов 5 раз подряд был назван лучшим актёром. За время своей карьеры в ГДР сыграл более чем в 60 фильмах.
В 1976 году Армин Мюллер-Шталь подписал открытое письмо протеста против лишения гражданства ГДР барда Вольфа Бирмана, после чего его всё реже стали снимать в кино. В 1980 году эмигрировал в Западный Берлин.
На Западе он играл у известных режиссёров в картинах «Лола» и «Тоска Вероники Фосс» Райнера Вернера Фасбиндера, «Любовь в Германии» Анджея Вайды, «Полковник Редль» Иштвана Сабо.
В конце 1980-х Мюллер-Шталь получил приглашение в Голливуд. Сыграл роль отца еврейского семейства в картине Барри Левинсона «Авалон» (1990). В 1991 году снимался в фильмах Стивена Содерберга «Кафка» и Джима Джармуша «Ночь на Земле», где он выступил в роли таксиста-эмигранта из Восточной Германии. В 1996 состоялся режиссёрский дебют Мюллер-Шталя — фильм «Разговор с чудовищем». В том же году снялся в драме «Блеск», за который был номинирован на премию «Оскар» за лучшую мужскую роль второго плана.
Одни из его последних работ — «вор в законе» в фильме Дэвида Кроненберга «Порок на экспорт» (2007) и роль в российском военном сериале Александра Буравского «Ленинград» о блокаде Ленинграда.
В декабре 2011 Армин Мюллер-Шталь впервые с 1938 года посетил свой родной город, где ему было присвоено звание почётного гражданина Советска (бывшего Тильзита).