После окончания Терезианума поступил в Академию музыки и искусства в Вене. Его театральный дебют состоялся в 1923 году в «Фолькстеатре». В течение 1930—1938 он играл в театре Йозефштадта.
Первая написанная им пьеса называлась «Boulevard-Kom?dien».
В 1927 году он впервые снялся в кино в фильмах «Die Liebe der Jeanne Ney» («Любовь Жанны Ней») и «Pat und Patachon als Schwiegers?hne». В 1933 он играет Франца Шуберта в фильме «Leise flehen meine Lieder» («Неоконченная симфония»).
В 1938 Ганс Ярай переезжает в США. Там он живёт в Нью-Йорке и играет на Бродвее.
После окончания Второй мировой войны он возвращается обратно в Австрию, работает в театре, снимается в кино и читает лекции.
К одним из его последних работ в кино относятся: «Fr?hlingsstimmen» (1952) и «Fedora» (1972).
Ганс Ярай является также автором многочисленных пьес и книг.