Хайнц вырос в Катернберге — районе города Эссена, там же, параллельно обучаясь на столяра, начал заниматься и футболом в молодёжном составе местного клуба «Шпортфройнде», в котором затем начал и взрослую карьеру. В те времена большинство игроков команды работало на местной угольной шахте.
В 1947 году Кубш стартовал вместе с командой в первом розыгрыше турнира Оберлиги «Запад», являвшейся высшей футбольной лигой не только региона, но и страны, наравне с оберлигами «Север», «Юго-Запад», «Юг» и «Берлин», вплоть до создания единой Бундеслиги. 25 января 1948 года Хайнц впервые вышел на поле в 17-летнем возрасте, став, тем самым, самым молодым игравшим вратарём в Германии. По итогам сезона 1947/48 стал, вместе с командой, вице-чемпионом. В следующем розыгрыше был уже основным вратарём, сыграв во всех 24 матчах клуба, однако, сезон закончился неудачно — «Шпортфройнде» занял последнее, 13-е место в турнире и покинула лигу.
Однако команде удалось за один сезон вернуться в Оберлигу, где в сезоне 1950/51 Кубш снова защищал ворота команды во всех матчах турнира (30 игр), по итогам которого клуб занял 12-е место. В следующем сезоне сыграл в 28 матчах из 30, а команда заняла 10-е место. В своём последнем за «Шпортфройнде» сезоне сыграл во всех 30 встречах клуба в лиге, однако турнир для команды завершился неудачно — она заняла предпоследнее 15-е место и покинула Оберлигу, а Хайнц решил сменить команду. Всего Кубш провёл за «Шпортфройнде» 122 матча в Оберлиге.
В 1953 году перешёл в клуб «Пирмазенс» из одноимённого города, в составе которого в сезоне 1953/54 сыграл во всех 30 матчах клуба и стал, вместе с командой, вице-чемпионом Оберлиги «Юго-Запад». В следующие 2 сезона провёл по 27 матчей из 30. В сезонах 1956/57 и 1957/58 снова сыграл во всех 30 встречах клуба, внеся вклад в завоевание титула чемпиона в сезоне 1957/58.
В сезоне 1958/59 «Пирмазенс» снова стал чемпионом, а Кубш, в качестве основного вратаря команды, сыграл в 28 матчах из 30. В следующем сезоне клуб снова повторил успех, а Хайнц, сыграв в 21 встрече из 30, стал в третий и последний раз в карьере чемпионом Оберлиги «Юго-Запад». В своём последнем сезоне провёл 29 матчей из 30, и стал, вместе с командой, третьим призёром турнира, после чего завершил карьеру игрока. Свой последний официальный матч сыграл 16 апреля 1961 года в Нойнкирхене против местной «Боруссии». Всего Кубш провёл за «Пирмазенс» 222 матча в Оберлиге.
9 ноября 1952 года Кубш дебютировал на уровне сборных, сыграв за вторую команду ФРГ в прошедшем в Базеле товарищеском матче со швейцарцами, который немцы выиграли со счётом 2:0.
В составе главной национальной сборной Германии выступал с 1954 по 1956 год, провёл за это время 3 матча (по 1 в каждом году), в которых пропустил 7 голов. Участвовал в финальном турнире чемпионата мира 1954 года, где, однако, не сыграл ни разу, но несмотря на это стал, вместе с командой, чемпионом мира.
Дебютировал 25 апреля 1954 года в прошедшем в Базеле матче с командой Швейцарии, в той встрече немцы выиграли со счётом 5:3. Затем Хайнц попал в заявку команды на чемпионат мира в Швейцарии, где не смог сыграть из-за вывиха плеча, полученного Кубшем незадолго до этого при спасении своего друга Хайнца Квятковски на озере Тун.
23 марта 1955 года сыграл в прошедшем в Шеффилде матче второй сборной Германии с командой Англии (1:1). Второй раз сыграл за главную сборную страны 28 мая 1955 в состоявшейся в Гамбурге игре со сборной Ирландии, которую немцы обыграли со счётом 2:1. В следующем году снова сначала сыграл за вторую сборную 15 сентября, а затем 21 ноября провёл свой третий и последний матч за первую сборную. В той встрече немцы дома во Франкфурте-на-Майне уступили Швейцарии со счётом 1:3. После этого на уровне национальных сборных не выступал. Помимо этого, 18 ноября 1959 и 19 марта 1960 сыграл 2 матча в составе сборной Юго-Западной Германии против, соответственно, сборных Южной и Северной Германии.