Родился в Бердичеве в еврейской семье васильковского купца 2-й гильдии. В 1865 году семья переехала из Бердичева в Киев, где отец открыл мануфактурный магазин. С 1868 по 1871 год провел за прилавком в отцовском магазине.
В 1871 году поступил в 3-й класс Киево-Подольской классической прогимназии; в 1873 году выбыл из четвертого класса, оставив заведение по собственному желанию.
К 1873—74 годам относятся его первые непосредственные связи с революционными кружками в Киеве. В 1874 году приехал в Петербург, чтобы подготовиться к поступлению в Технологический институт, но не поступил. В августе 1875 года, желая подготовиться к пропаганде в народе, поступил в Петербурге рабочим в слесарную мастерскую. В начале 1876 года арестован на квартире рабочего Антона Городничего и выслан по этапу в Киев как не имевший определенных занятий. В Киеве продолжал заниматься слесарным ремеслом в мастерской, устроенной на средства революционеров. Летом 1876 года познакомился с Александром Михайловым. В конце того же года приезжал в Житомир для установления связи местного кружка (В. Чуйко и др.) с Киевом. В 1877 году некоторое время провел в деревне, где пытался вести пропаганду среди крестьян. В 1877—78 годах занялся распространением среди еврейского населения Киева, Бердичева, Житомира и других городов социалистического органа на древнееврейском языке «Эмес» («Правда»); принимал самое деятельное участие в студенческом движении и в кружках молодежи.
Арестован в конце февраля 1878 года в Киеве в связи с покушением 23 февраля 1878 года на прокурора Котляревского как заподозренный в причастности. Содержался под стражей с 25 февраля по 13 апреля 1878 года. Как лицо политически неблагонадежное и имевшее «вредное влияние» на студенчество, по распоряжению киевского генерал-губернатора выслан без срока под гласный надзор полиции в Архангельскую губернию. Водворен 29 апреля 1878 года в Холмогорах, откуда 24 июня того же года вместе с А. Назаровым, Н. Васильевым и П. Орловым бежал в Петербург. Разыскивался по циркуляру Департамента полиции от 12 июля.
В конце 1878 — начале 1879 года жил в Киеве; выехал в Харьков 13 января 1879 года для организации убийства харьковского губернатора князя Д. Н. Кропоткина; получил деньги и оружие от Н. Осинского. Поселился под Харьковом под фамилией Келлера и вместе с Л. Кобылянским следил за выездами Д. Н. Кропоткина. 9 февраля 1879 года выстрелом смертельно ранил Кропоткина, после чего скрылся с Л. Кобылянским в Харькове на конспиративной квартире Л. Волкенштейн и А. Зубковского, а затем переехал в Киев, где остановился на квартире Л. Самарской. Поместил в № 4 журнала «Земля и Воля» статью «К обществу. Письмо социалиста-революционера, взявшего на себя казнь Кропоткина».
В конце марта 1879 года вместе с А. К. Соловьёвым и Л. Кобылянским прибыл в Петербург с целью принять участие в покушении на Александра II. В мае 1879 года вошел в группу «Свобода и смерть». Летом 1879 года под фамилией Ефремова жил в имении Гамалеев в Переяславском уезде Полтавской губернии. Присутствовал под фамилией Гервера на Липецком и Воронежском съездах землевольцев, где выступал в защиту террористических действий. Был избран членом Исполнительного комитета. По указанию В. Н. Фигнер в Исполнительный комитет, образовавшийся после разделения общества «Земля и Воля», проведён не был. Осенью того же года делал вместе с А. Желябовым доклад в Харькове о необходимости террора.
В октябре 1879 года принимал участие в подкопе под полотно железной дороги под Москвой (революционная кличка «Гришка» и «Биконсфильд»). Отправлен 9 ноября 1879 года из Москвы в Одессу за динамитом; 12 ноября получил таковой от М. Фроленко и от С. Златопольского 300 рублей и 13 ноября выехал обратно в Москву, везя с собою около полутора пудов динамита. Арестован на станции Елисаветград 14 ноября 1879 года под фамилией тульского потомственного почетного гражданина Степана Петровича Ефремова. При аресте пытался бежать и оказал вооруженное сопротивление. На допросах заявил о своей принадлежности к революционной организации и отказался от дачи каких-либо показаний по существу. Личность Гольденберга была установлена 21 ноября 1879 года начальником Киевского жандармского управления полковником Новицким. По требованию одесского генерал-губернатор графа Тотлебена с одобрения III Отделения отправлен 27 ноября 1879 года из Елисаветграда в Одессу, где к нему был подсажен злостный предатель Фёдор Егорович Курицын, которому Гольденберг сообщил о своем участии в деле убийства харьковского губернатора князя Кропоткина и о железнодорожных подкопах.
В феврале — марте 1880 года, сознавшись в участии в террористическесчих актах, под влиянием товарища прокурора Добржинского стал давать откровенные показания. Добржинский подкупил Гольденберга химерической идеей: открыть правительству истинные цели и кадры революционной партии, после чего, мол, правительство, убедившись в том сколь благородны и цели партии, и ее люди, перестанет преследовать такую партию.
Вывезен 9 апреля 1880 г. из Одессы и 13 апреля прибыл в Петербург, где был заключен в Трубецкой бастион Петропавловской крепости. После свидания 19 апр. 1880 г. в крепости с Лорис-Меликовым дал подробнейшие показания.
9 марта 1880 года Гольденберг написал обширное (80 страниц убористой рукописи) показание, а 6 апреля составил к нему приложение на 74 страницах с характеристиками всех 143-х упомянутых в показании деятелей партии. Там были и Желябов, Александр Михайлов, Перовская, Плеханов, Морозов, Кибальчич — словом вся революционная элита. О каждом сообщались биографические сведения, обрисовывались их взгляды, личные качества, даже внешние приметы.
В июне из разговора с арестованным членом Исполнительного комитета А. И. Зунделевичем он понял, что он натворил, и впал в отчаяние. На очередном допросе он пригрозил Добржинскому: «Помните, если хоть один волос упадет с головы моих товарищей, я себе этого не прощу». На что тот цинично ответил: «Уж не знаю, как насчёт волос, ну, а что голов много слетит, это верно».
Гольденберг не выдержал мук совести. 15 июля 1880 года он повесился в тюремной камере на полотенце. 16 июля полицейские похоронили его на Преображенском кладбище.
Перед смертью он написал «Исповедь», в которой он открывал «знакомым и незнакомым честным людям всего мира» свою душу:
М. Ф. Фроленко: «Молодой, порывистый, неустойчивый».
А. Д. Михайлов: «В Киеве же весной 1876 года я познакомился с Гольденбергом, который меня полюбил и с большой охотой водил со мной дружбу, Как человек добрый, преданный делу, он мне нравился, но глупость его часто меня бесила и смешила; у нас установились нехорошие, протекторские отношения, что меня часто смущало, и было для меня неприятно, но он был ими доволен. Не имея возможности сойтись с киевскими радикалами, которые его считали человеком недалёким и неразвитым, он симпатизировал мне. Я же, в свою очередь, видя в нем человека честного и доброго, ищущего общества и дела, не считал возможным отталкивать его, хотя тоже не считал его пригодным для работы в то время. Он был исключительно человек чувств, да ещё, кроме того, совершенно не умеющий ими владеть. Когда чувство в нём направлялось партией, — оно двинуло его на подвиг. Но отрезанный от неё, и, не имея в себе самом руководящей, он, совершив неизмеримо бесчестный поступок, бесславно погиб. Пусть великодушно простят этого несчастного человека его старые товарищи…»
А. П. Прибылева-Корба: «Когда чувство в нем направлялось партией, оно двинуло его на подвиг. Но отрезанный от неё, и, не имея в себе самом руководящей, он, совершив неизмеримо бесчестный поступок, бесславно погиб».
Н. А. Морозов: «…Относительно его приглашения (на Липецкий съезд) было несколько возражений, так как Михайлов находил его не совсем самостоятельным. Но некоторые очень настаивали на нём, не подозревая, что впоследствии, уже после его ареста, с ним случится что-то вроде временного помешательства, и он нас выдаст всех очень странным способом, расхваливая жандармам, как героев, а затем покончит жизнь самоубийством. Читая потом его показания, я не мог отогнать от себя мысли, что они были сделаны не в полном сознании, а под влиянием какого-нибудь введенного к нему в темницу опытного гипнотизёра».