В детской музыкальной школе Калининского района Ленинграда учился игре на кларнете, позже самостоятельно освоил саксофон.
В 1956 году окончил Ленинградский автодорожный техникум, но по своей технической специальности почти не работал.
Начал свою музыкальную карьеру в 1950-е годы. Стал известен в 60-е годы как солист, концертмейстер группы саксофонов и аранжировщик в ленинградском джазовом оркестре Иосифа Вайнштейна, где проработал с 1959 по 1967 год.
В 1963 году в США вышел альбом The Victor Feldman all stars play the world's first album of soviet jazz, на ней записано 6 тем советских джазменов, клавиры которых музыканты оркестра Бенни Гудмена привезли с гастролей по СССР в 1962 году. На пластинке присутствуют 3 композиции, сочиненные Геннадием Гольштейном, а именно: Blue Church Blues, Madrigal и Gennadi.
В 1966 году на Ленинградском джазовом фестивале получил диплом за оригинальную аранжировку песни Андрея Петрова «Я шагаю по Москве».
Наиболее известные джазовые композиции, написанные им в этот период: «Письмо другу», «Тема для Тимы», «Поезд на юг», «Сомнение», «В последний раз», «На задворках».
С 1967 по 1972 год участвовал в выступлениях джаз-оркестров Эдди Рознера, Вадима Людвиковского и др.
С 1972 по 1976 год был ведущим саксофонистом в джаз-оркестре Олега Лундстрема.
Параллельно с концертными выступлениями вел класс саксофона на эстрадно-джазовом отделе музыкального училища (с 1974 по 1978 год отдел находился в Ленинградском музыкальном училище имени Римского-Корсакова, а в 1978 году был перенесен в музыкальное училище имени Мусоргского).
В 1977 году вернулся в Ленинград и основал ансамбль старинной музыки Pro Anima, в котором играл на флейтах и виоле-да-гамба. Основу репертуара ансамбля составляла западноевропейская музыка позднего Средневековья и Возрождения.
В 1990-е годы Геннадий Гольштейн вернулся в джаз — он является основателем и руководителем оркестра «Саксофоны Санкт-Петербурга» (образован в 1998 году), квартета «Далёкие радости».
Среди его учеников — такие известные музыканты, как Игорь Бутман, Николай Поправко, Игорь Тимофеев, Дмитрий Баевский, Евгений Стригалев и Михаил Чернов.
(также принимал участие в записях джаз-оркестров Иосифа Вайнштейна в 1962-1967 гг. (Д 10879-80 и Д 19159-60), Вадима Людвиковского в 1973 г. (СМ 04365-66) и Олега Лундстрема в 1976 г. (С60 07077-8 и С60 08473-4), во всех записях ансамбля Pro Anima)