Сын Леона Гольшмана и Марии Разумной. Окончив парижскую Schola Cantorum как скрипач, Гольшман был заметной фигурой в музыкальной жизни Парижа 1920-х гг. С 1919 г. он в течение пяти лет руководил собственным небольшим оркестром (фр. Concerts Golschmann), заведовал музыкальными мероприятиями в Сорбонне, дирижировал оркестром при выступлениях Русского балета Дягилева. В 1923—19280 гг. Гольшман возглавлял Симфонический оркестр Бильбао, в 1928—1930 гг. Шотландский национальный оркестр, а затем отправился в США, где в 1931 г. встал у руля Сент-Луисского симфонического оркестра, вдохнув в этот коллектив новую жизнь. В 1955 г. Гольшману было присвоено звание почётного дирижёра оркестра, а в 1958 г. он ушёл в отставку, однако затем в 1964—1970 гг. возглавлял Денверский симфонический оркестр.
В парижский период Гольшман был известен, прежде всего, как пропагандист музыки Эрика Сати и его последователей, композиторов Шестёрки, и в дальнейшем он также возвращался к их творчеству (так, в 1950 г. Гольшман записал долгоиграющую пластинку с произведениями Онеггера, Мийо и Сати). С ними он неоднократно сталкивался в парижский период своей жизни и был знаком лично. Из американских записей Гольшмана более всего известны клавирные концерты Баха в исполнении Гленна Гульда (с Колумбийским симфоническим оркестром), а также записи с Сент-Луисским оркестром: Концерт № 23 для фортепиано с оркестром Моцарта в исполнении Артура Рубинштейна, фортепианные концерты Прокофьева и Рахманинова в исполнении Леонарда Пеннарио, Симфония Сезара Франка, «Просветлённая ночь» Арнольда Шёнберга, Пятая симфония Шостаковича.