Хайнц Рюман родился в семье владельца отеля. Детство прошло в городе Ванне-Айкель. В 1913 году семья переехала в Эссен, где купила гостиницу возле Центрального вокзала. В 1916 году родители мальчка разошлись; вскоре после этого отец покончил жизнь самоубийством. Мать с тремя детьми перебралась в Мюнхен. В 1919—1920 годах, после окончания реального училища, Рюман изучал актёрское мастерство и в июне 1920 года получил свою первую роль в театре города Бреслау. В 1922 он поступил в театр Ганновера, где выступал вместе с Тео Лингеном. Затем работал в театрах Бремена и Мюнхена. В августе 1924 года Рюман женился на актрисе еврейского происхождения Марии Хербот.
В кино Рюман дебютировал в 1926 году в немом фильме «Das deutsche Mutterherz» («Немецкое сердце матери»). Его пригласили в Берлин, где он играл в театре вместе с Марлен Дитрих. В 1930 году к актёру пришел настоящий большой успех. После участия в киноленте «Die drei von der Tankstelle» («Трое с бензоколонки») он стал — наряду с Гансом Альберсом — одним из самых популярных артистов Германии.
В годы правления в Германии национал-социалистов Рюман старался не вмешиваться в политику. Однако это не помешало ему сделать головокружительную карьеру. В 1938 году он развелся со своей женой-еврейкой. С 1933 по 1945 год Рюман сыграл в 37 кинофильмах и поставил ещё 4. Национал-социалисты активно использовали талант актёра в своей пропаганде во время Второй мировой войны. В 1940 году Рюману было присвоено звание «Государственного артиста». Несмотря на то что артист был отличным пилотом, его освободили от несения воинской службы, а в августе 1944 года по распоряжению Геббельса внесли в список лиц, навсегда освобождённых от мобилизации.
После окончания войны Рюман некоторое время проживал в Восточной Германии и сотрудничал там с советскими властями. Однако в марте 1946 года в результате политики денацификации ему запретили работать актёром на территории советской оккупационной зоны. Рюман переехал в Западный Берлин. В 1947 году он основал там киностудию Comedia. В 1956 году артист снялся в кинокомедии «Капитан из Кёпеника», за игру в которой в 1957 году удостоился премии немецких кинокритиков. В 1960-е годы он играл на сценах Мюнхена и Вены. В 1980 году выступал в программе «Звёзды на манеже» с советским клоуном Олегом Поповым.
Хайнц Рюман был награждён 3 Большими крестами ордена За заслуги перед Федеративной Республики Германия — в том числе со Звездой (1972) и со Звездой и наплечной лентой (1977).