Учился в Венской консерватории у Йозефа Бёма. Играл в ганноверском придворном оркестре под руководством Йозефа Иоахима (известно, что в 1866 г. Иоахим ушёл в отставку с этого поста в знак протеста против того, что королевская администрация отказалась повысить статус Грюна из-за его еврейского происхождения).
Профессор Венской академии музыки. Среди учеников Грюна — Карл Флеш, Луиджи фон Куниц, Франц Кнайзель, Оскар Бак, Ханс Вессели и др.