Из семьи торгового служащего. После окончания школы в 1945-1949 годах учился и работал по специальности плотника. В это время он вступил в Антифашистский Молодёжный Комитет. С 1946 года он член Союза Свободной Немецкой Молодёжи. Некоторое время работал начальником экономического отдела в пионерском лагере.
27 октября 1949 года Гольдбах вступает в Народную Полицию ГДР (Казарменная Полицейская Дежурная Часть, Гросенхайн (нем. Kasernierte Polizeibereitschaft Gro?enhain).
В 1950 году Гольдбах становится членом СЕПГ.
В 1950-1951 годах он проходит курс обучения в танковой офицерской школе Главного управления боевой подготовки, унтер-комиссар.
В 1952 году Гольдбах — командир взвода и преподаватель в этой же школе КНП.
В 1952-1956 годах был направлен на обучение в Военную Академию в СССР. После возвращения получил звание майора.
В 1956 — 1960 годах Гольдбах служит сначала первым заместителем командира, потом начальником штаба и заместителем командира 7-й танковой дивизии в Дрездене.
С 1 ноября 1960 по 31 июля 1964 года он в чине полковника командует этой дивизией.
В 1964-1966 годах Гольдбах учится в Военной академии Генерального штаба Вооружённых сил СССР. После своего возвращения в ГДР в качестве дипломированного военного специалиста он с 1 октября 1966 года по 31 августа 1969 года командует 4-й МСД (Эрфурт).
7 октября 1966 года ему присвоено звание генерал-майора.
С 1 ноября 1969 года по 14 сентября 1972 года Гольдбах занимал должность первого заместителя командующего 3-го Военного округа (Лейпциг).
С 1 октября 1972 года по 15 октября 1979 года он уже сам командует 5-м Военным округом (Нойбранденбург). На этой должности 7 октября 1974 года ему было присвоено звание генерал-лейтенанта.
В 1979 году последовал перевод Гольдбаха на работу в министерство национальной обороны. Там он 16 октября 1979 года сменил Хельмута Поппе в должности заместителя министра национальной обороны и начальника тыловых служб. С 1 февраля 1986 года до 18 апреля 1990 года (момента упразднения министерства национальной обороны) Гольдбах — заместитель министра национальной обороны и начальник по технике и вооружениям ННА.
1 марта 1986 года, в 30-ю годовщину образования ННА, Гольдбах получил звание генерал-полковник. В переходном министерстве разоружения и обороны он с 18 апреля 1990 года возглавлял Ведомство по технике, разоружению и конверсии (нем. Amt f?r Technik, Abr?stung und Konversion). 30 сентября 1990 года Гольдбах был отправлен в отставку.
По обвинению в коссвенном участии в убийствах возле Берлинской стены в 1990-х годах против него было возбуждено уголовное дело. 30 мая 1997 года суд земли Берлин приговорил Гольдбаха к 3 годам и 3 месяцам лишения свободы за пособничество в убийствах.
18 марта 2001 года постановлением отделения суда второй инстанции он был освобождён из заключения.