Родители Г.Эрхарда развелись, когда мальчик был ещё совсем мал. Воспитывался Гейнц в доме дедушки и бабушки, в Риге, где его дед профессионально был связан с музыкой. Незадолго перед поступлением Г.Эрхарда в школу его мать взяла сына к себе, в Санкт-Петербург, однако там мальчик не прижился, и вернулся к дедушке и бабушке в Ригу. Вскоре после этого он переезжает к отцу, капельмейстеру Густаву Эрхарду, который ведёт кочевую жизнь. За недолгое время своего пребывания у отца Гейнц 15 раз меняет место жительства и школу. В конце концов от снова в Риге у деда, который его вскоре отправляет в Лейпциг, изучать музыку.
Г.Эрхард изучает в Лейпцигской консерватории музыку, в этом же городе в 1934 году знакомится в лифте, поднимаясь к зубному врачу, с Гильдой Занетти, на которой он спустя год женится и которая родила ему четырёх детей.
В начале 1938 года Г.Эрхард окончательно порывает с навязанной ему дедом «торговлей музыкой» и начинает свою артистическую карьеру, сначала в небольших развлекательных программах, на вечерних раутах, семейных и общественных праздничных собраниях. Вскоре он исполняет комические роли на сцене Рижского театра. Взлёт его театральной карьеры начинается в октябре 1938 года, в знаменитом берлинском «Комическом Кабаре». Газеты всей Германии с восторгом пишут о выступлениях музыканта-юмориста.
В ноябре 1941 года не умеющий плавать и носящий очки Г.Эрхард призывается в армию и направляется служить в морскую пехоту, впрочем там он руководит оркестром. В 1946 году, после окончания Второй мировой войны, Г.Эрхард живёт в Гамбурге, где ведёт комические и развлекательные программы на радио NDWR, одной из самых популярных стала его «Такие глупости»(So was Dummes). Другие его программы, выходившие в эфир в так называемую «эру Аденауэра» и создавшие комические образы налоговых инспекторов или благородных отцов семейств, имели также шумный успех. В этот же период начинают выходить и сборники юмористической поэзии Г.Эрхарда, наименование наиболее известного из которых «Ещё один стишок»(«Noch?n Gedicht») стал в Германии крылатым выражением. Эти комические стихотворения артиста читаются с интересом и в XXI веке.
Новая сторона комического таланта Г.Эрхарда открылась в 50-е годы, когда артист начинает сниматься в кино. Уже его первая кинокомедия «Вдовец с пятью дочерьми» побила все кассовые рекорды того времени. 1 июня 1979 года, за четыре дня до смерти, Г.Эрхарду вручается «Большой Крест за Заслуги ФРГ». В мае 2003 года, в Гёттингене, на том месте, где Эрхард в роли «полицейского Добермана» руководил движением (фильм «Конечно, водители!», 1959), установлен памятник артисту-«полицейскому», а площадь носит имя Гейнца Эрхарда. В 2007 году, согласно опросу, проведённому немецким телеканалом ZDF, Г.Эрхард занял второе место среди комических актёров немецкоязычных стран XX столетия (после Лорио).