Родился в семье Сары Иосифовны и Эммануила Абрамовича Гольдштейнов.
Учился у проф. П. С. Столярского (в Одессе), у профессоров А. И. Ямпольского и Л. М. Цейтлина (в Москве).
В СССР начиная с 1933 года под эгидой Сталина были учреждены Всесоюзные конкурсы музыкантов-исполнителей. Одним из участников первого конкурса был 11-летний скрипач Борис (Буся) Гольдштейн. Сталин пришел в восторг от его игры и пригласил вундеркинда в Кремль, где ему была вручена большая денежная премия. Соломон Волков приводит случившийся при этом диалог вождя и юного музыканта:
О поразительном музыкальном даровании Бориса Гольдштейна и его скрипичном мастерстве восторженно отзывались такие выдающиеся музыканты, как Фриц Крейслер, Жак Тибо, Йожеф Сигети, Карл Флеш, Мирон Полякин, Сергей Прокофьев, Арам Хачатурян. Гольдштейн вошёл в пятёрку лауреатов первого Конкурса имени Венявского (Варшава, 1935) и Конкурса имени Изаи (Брюссель, 1937).
С 1974 г. жил в Германии, с 1976 г. профессор Вюрцбургской Высшей школы музыки. С 1981 г. концертировал в ансамбле с дочерью Юлией, записал вместе с ней сонаты Иоганнеса Брамса для скрипки и фортепиано. Дружеские отношения связывали Гольдштейна с известным немецким композитором Бертольдом Хуммелем, в 1977 г. он был первым исполнителем его Диалога для скрипки и органа.
Одним из учеников Б. Э. Гольдштейна является проф. Захар Брон.