Хайнеман родился в 1899 году в Швельме. C 1919 года изучал право и политологию в университетах Мюнстера, Марбурга, Мюнхена, Гёттингена и Берлина, после чего работал адвокатом и преподавателем. C 1930 по 1933 годы был членом Христианско-социальной народной службы. В период с 1933 по 1945 годы был членом антинацистской организации Церковь борьбы (Kirchenkampf), а с 1936 по 1950 гг. являлся председателем Христианской ассоциации молодых людей.
После окончания войны Хайнеман выступил одним из основателей партии Христианско-демократический союз (ХДС). В 1946 британскими оккупационными войсками он был назначен обер-бургомистром в Эссене и сохранял эту должность вплоть до 1949 года. C 1947 по 1950 являлся депутатом Ландтага от ХДС в Северном Рейне — Вестфалии. С сентября 1949 по октябрь 1950 занимал пост министра внутренних дел Германии в правительстве Аденауэра. С 1949 года также возглавлял правление синода Евангелической церкви Германии.
В 1952 году Хайнеман вышел из ХДС и основал Общегерманскую народную партию, выступая против политики правительства по ремилитаризации Германии. Однако на выборах 1953 года в бундестаг его партия проиграла, получив всего 1,2% голосов, и вскоре была расформирована. В 1957 году он присоединился к Социал-демократической партии и стал членом парламента. С декабря 1966 по март 1969 занимал должность министра юстиции.
1 июля 1969 Хайнеман был избран на пост Федерального президента. Он был сторонником взаимопонимания между Востоком и Западом, а также продолжил политику примирения Германии с бывшими оккупированными странами Европы, подкрепляя её своими международными визитами. Свой пост он оставил 30 июня 1974 года из-за ухудшения здоровья.
Скончался Густав Хайнеман 7 июля 1976 года в Эссене.