Родился в Южной Каролине и был вторым из четырёх сыновей Симона и Белл Барух. Его отец, Симон Барух (1840—1921), немецкий иммигрант еврейского происхождения, иммигрировал в США из Германии в 1855 году. Будучи по профессии врачом, во время гражданской войны служил в армии южан и был одним из основоположников физиотерапии.
В 1881 году его семья переехала в Нью-Йорк, где Бернард поступил в Сити-колледж (англ. City College of New York). После окончания начал работать брокером в фирме А. А. Хаусмэн энд Компани (англ. A. A. Housman and Company). Приобрёл место на Нью-Йоркской фондовой бирже. Занимался успешными спекуляциями сахарными контрактами. В 1903 году он основал свою собственную брокерскую фирму; в свои 33 года он стал миллионером. Несмотря на процветавшую в то время практику создания различных трастов с целью манипуляции рынком, Барух проводил все свои операции один. За что и получил прозвище «одинокий волк Wall Street».
Активное проникновение Баруха в политическую жизнь началось в 1912 году. Своими деньгами он поддержал Вудро Вильсона в его президентской компании. В фонд демократов Барух внес $50 тыс. В благодарность за это Вильсон назначил его в ведомство национальной обороны. Во время Первой мировой войны он стал главой Военно-Промышленного Комитета (англ. War Industries Board) и сыграл ключевую роль в переориентировании американской промышленности под военные нужды.
После Первой мировой войны работал в Высшем экономическом совете Версальской конференции и был личным экономическим советником президента Т. В. Вильсона. После Вудро Вильсона он оставался неизменным спутником президентов Уоррена Гардинга, Герберта Гувера, Франклина Рузвельта и Гарри Трумэна. Во время Второй мировой войны президент Ф. Д. Рузвельт назначил Баруха председателем комитета по ликвидации нехватки каучука. В 1943 году Барух стал советником директора отдела военной мобилизации Д. Бирнса.
В 1946 г. Гарри Трумэн назначил Баруха представителем США в комиссии ООН по атомной энергии (англ. United Nations Atomic Energy Commission). На первом заседании Комиссии, 14 июня 1946 года, Барух огласил план тотального запрещения ядерного оружия, вошедшего в историю под названием «План Баруха». Он предусматривал, что все государства, проводящие исследования в ядерной сфере, должны обмениваться соответствующей информацией; все ядерные программы должны носить исключительно мирный характер; ядерное оружие и иные виды оружия массового уничтожения должны быть уничтожены — для выполнения этих задач требуется создать компетентные международные структуры, которые обязаны контролировать действия отдельных государств. Сам «план Баруха» представляет собой доклад Ачесона-Лилиенталя, в который Барух внёс два значительных изменения: на упоминаемый в докладе международный орган по контролю за атомной энергией не распространяется право вето постоянных членов Совета Безопасности ООН, и также этот орган может принимать принудительные меры против нарушителей правил контроля в обход Совета Безопасности ООН. Такие положения коренным образом расходились с Уставом ООН и его структурой, поэтому «план Баруха» принят не был. Американский дипломат и историк Б. Бечхофер, который в 1950-е гг. в составе делегаций США принимал участие в переговорах о разоружении, говорил об этом проекте следующее: «Содержавшийся в „плане Баруха“ подход к вето внёс в переговорный процесс посторонний и ненужный элемент, позволивший Советскому Союзу занять позицию, благодаря которой он получил существенную поддержку за пределами своего блока. Позиция Баруха в отношении вето является экстремальным примером его изоляции от генеральной линии внешней политики США».
При этом США пошли ва-банк: они предложили отказаться от своего ядерного оружия при условии, что остальные государства примут на себя обязательство не производить его и согласятся создать адекватную систему контроля. План был отвергнут СССР. Советские представители объяснили это тем, что в ООН доминировали США и их союзники, следовательно, им было невозможно доверять. Поэтому Советский союз предложил, чтобы США уничтожили свои ядерные боеприпасы ДО того, как остальные страны создадут систему контроля, однако это предложение было в свою очередь отвергнуто США.
После провала «Плана Баруха» и ответной советской инициативы в Мире началась ядерная гонка вооружений.
Бернард Барух первым в мире употребил термин «холодная война» 16 апреля 1947 г. в речи перед палатой представителей Южной Каролины для обозначения конфликта между США и Советским Союзом.