Закончил Лейпцигский университет (1640). Преподавал в лейпцигской школе Святого Фомы. С 1651 служил органистом, а с 1653 - кантором лейпцигской церкви Святого Николая. В 1655 ему по обвинению в мужеложстве грозило тюремное заключение. Он бежал в Италию, в 1658 оказался в Венеции, служил в соборе Святого Марка. Одно время исполнял обязанности капельмейстера в сиротском приюте Ospedale della Piet?. Испытал влияние Арканджело Корелли. Впоследствии вернулся в Германию, служил капельмейстером при дворе Антона Ульриха Брауншвейг-Вольфенбюттельского.
Розенмюллеру принадлежит большое количество инструментальных и вокальных сочинений - как церковных, в которых чувствуется влияние Генриха Шютца, так и светских. Среди них:
Возрождение интереса к сочинениям Розенмюллера начинается в 1980-е годы. В 1995 дирижёр Арно Падух создал инструментальный Ансамбль Иоганна Розенмюллера, специализирующийся на аутентичном исполнении старинной немецкой музыки. Музыку композитора исполняет Рейнхард Гёбель со своим ансамблем, Жорди Савалль, французская скрипачка Амандина Бейе и др. В России его исполняют Российский ансамбль старинной музыки, Павел Сербин и его Pratum Integrum.