Гольдшмит родился в Цюрихе. Его родители, Генрих Д. Гольдшмидт (Heinrich J. Goldschmidt) и Амели Коэн (Amelie Koehne) назвали своего сына в честь учителя отца, Виктора Майера. Семья Гольдшмидта переехала в Норвегию в 1901 году, когда Генрих Гольдшмидт получил должность профессора химии в Кристиании (старое название Осло)
Первая научная работа Гольдшмидта называлась «Контактовый метаморфизм в окрестностях Кристиании». В ней он впервые применил термодинамическое правило фаз к геологическим объектам.
Серия его работ под названием «Геохимия элементов» (Geochemische Verteilungsgesetze der Elemente) считается началом геохимии. Работы Гольдшмидта о атомных и ионных радиусах оказали большое влияние на кристаллохимию.
Во время немецкой оккупации Гольдшмидт был арестован, но незадолго до запланированной отправки в концентрационный лагерь был похищен Норвежским Сопротивлением, и переправлен в Швецию. Затем он перебрался в Англию, где жили его родственники.
После войны он вернулся в Осло, и умер там в возрасте 59 лет. Его главный труд — «Геохимия» — был отредактирован и издан посмертно в Англии в 1954 году.