В детстве пел в хоре. Учился в Высшей музыкальной школе Берлина. В 1952 г. победил на певческом конкурсе «Нюрнбергские мейстерзингеры». Первые годы карьеры певца были связаны с Висбаденом и Гамбургом. Переломным стал 1957 г., когда Прей исполнил в Венской опере в партии Фигаро в «Севильском цирюльнике». В 1959 г. дебютировал на Зальцбургском фестивале. Важной вехой карьеры певца стало также исполнение партии Вольфрама в «Тангейзере» на сцене Метрополитен-опера в 1960 г.; пять лет спустя он выступил в той же партии на Байройтском фестивале, а в 1981 г. вернулся на фестиваль в качестве Бекмессера в «Нюрнбергских мейстерзингерах». Среди других партий — Папагено в «Волшебной флейте», Фигаро в «Свадьбе Фигаро», роли в лёгких операх Лорцинга, Миллёкера и т. д. Был выдающимся исполнителем песен Шуберта, Вольфа, Лёве, Штрауса, Малера и т. д.
В 1960-70-е гг. Прей вёл музыкальные передачи на телевидении, в 1988 поставил «Свадьбу Фигаро» на Моцартовских неделях в Зальцбурге.