Гольданский родился в Витебске, в 1928 его семья переехала в Ленинград. Учился в школе № 2 Куйбышевского района (сейчас школа № 207 ). В 1939 он поступил на химический факультет Ленинградского университета. С началом войны он вступил в студенческий стройбатальон, получил ранение, пережил суровую блокадную зиму. Затем он был эвакуирован в Казань, где продолжил учёбу, которая была завершена уже в Москве в 1944. После этого Гольданский поступил в аспирантуру Института химической физики к Н. Н. Семёнову, по завершении которой в 1947 защитил кандидатскую диссертацию. В 1952—1961 он работал в ФИАНе, в лаборатории В. И. Векслера, заведовал сектором, в 1954 защитил докторскую диссертацию. В 1961 Гольданский вернулся в Институт химической физики АН СССР (позже — имени Н. Н. Семёнова), руководил лабораторией (с 1961), отделом (с 1974), был заместителем директора (1987—1988), а в 1988—1994 директором института. Одновременно он преподавал в МФТИ, МИФИ (с 1951, в должности профессора — с 1956) и на химическом факультете МГУ. С 1994 Гольданский был Советником Президиума РАН.
Гольданский вел активную общественную деятельность, являлся заместителем председателя правления Всесоюзного общества «Знание» (1964—1990), вице-президентом Международного союза по теоретической и прикладной физике (1984—1987), председателем Российского Пагуошского комитета (1987—2001), заместителем председателя Комитета ученых за глобальную безопасность, главным редактором журналов «Химия высоких энергий» и «Химическая физика», членом редакционной коллегии журнала «Наука и жизнь», избирался народным депутатом СССР (1989—1991).
Был женат на дочери академика Н. Н. Семёнова.
Научные работы Гольданского посвящены химической физике, химии высоких энергий, ядерной химии и физике, физике элементарных частиц. Его кандидатская диссертация была посвящена вопросам химического катализа, однако затем он переключился на ядерную тематику. Он изучал на синхроциклотроне в Дубне поглощение и размножение высокоэнергетичных нейтронов в тяжелых мишенях. Во время работы в ФИАНе он экспериментально обнаружил явление поляризуемости адронов, исследовал процессы фоторождения пи-мезонов на водороде и черенковское излучение частиц в атмосфере (1954, совместно с Г. Б. Ждановым), расширил возможности корреляционного метода измерения характеристик ядерных реакций (1955, совместно с М. И. Подгорецким). На основе своих теоретических разработок он предсказал существование и рассчитал характеристики ряда нестабильных изотопов.
В 1960 Гольданский предсказал новый вид ядерного распада, происходящий с испусканием пар нуклонов — нейтронов и протонов (экспериментально обнаружены в США в 1979 и 1982 соответственно). Другое явление, предсказанное совместно с А. И. Ларкиным в 1967, — ядерный эффект Джозефсона — наблюдалось в 1974—1982. Ряд работ посвящен изучению химических свойств вещества благодаря ядерным явлениям. В частности, эффект Мёссбауэра может быть использован для исследования анизотропии движений атомов в молекулах (эффект Гольданского—Карягина) и кристаллах и монокристаллов в поликристаллах, динамических свойств белковых молекул, создания гамма-лазеров на мёссбауэровских переходах (совместно с Ю. М. Каганом).
В 1970—1973 Гольданский показал неприменимость классического закона Аррениуса для скоростей химических реакций при низких температурах: им был открыт квантовый предел скорости реакций, протекающих за счет туннелирования даже вблизи абсолютного нуля. Он также известен как основоположник химической физики позитрона и позитрония, показал возможность полимеризации под действием ударных волн, что было признано как научное открытие и занесено в Государственный реестр открытий СССР под № 125 с приоритетом от 1964 В последние годы он занимался вопросами предбиологической эволюции и, в частности, хиральности в природе.