Родился в местечке на юге Польши, недалеко от границы с Россией. В возрасте 5 лет он вместе с родителями уезжает из Польши в США. Учился в еврейской Теологической семинарии в Нью-Йорке. Затем служит раввином в Военно-воздушных силах Великобритании. В Англии он также познакомился со своей будущей супругой. Вернувшись в США, он стал раввином в небольшом городе штата Нью-Джерси.
В 1960-х гг Херцберг становится активным участником движения за расовое равноправие, и участник Марша на Вашингтон, организованного в 1963 году по инициативе Мартине Лютера Кинга. В 1972 Артур Херцберг возглавил первую еврейскую делегацию, которая официально встречалась с представителями Ватикана и обсуждала позицию молчания, которую заняла римско-католической церковь во времена Холокоста. С 1972 по 1978 годы Херцберг был президентом Американского еврейского конгресса, с 1975 по 1991 занимал пост вице-президента Всемирного еврейского конгресса.
Артур Херцберг автор десятков книг по еврейской философии и истории, включая сочинения "Идея сиониста" и "Евреи в Америке".