Родился в семье польских евреев, переехавших во Францию в 1924 году. В 1942 году родные Шварц-Барта были депортированы в Аушвиц и погибли там. Он примкнул к Сопротивлению, был арестован немцами, бежал, ушёл в партизаны, воевал до конца войны.
После войны работал слесарем, в 1948 году сдал экзамены на аттестат зрелости и поступил в Сорбонну. В 1950 году начал писать.
Главным произведением Шварц-Барта стал роман-хроника о жизни еврейской семьи с XII в. до Холокоста «Последний из праведников» (1959), который Эли Визель назвал «непревзойденной книгой».
Последние годы писатель прожил на Гваделупе вместе с женой, писательницей Симоной Шварц-Барт, чьи родители были уроженцами Гваделупы. Несколько книг он написал в соавторстве с женой.
Умер от осложнений после операции на сердце.
Роман «Последний из праведников» переведен на немецкий, английский, испанский, итальянский, нидерландский и др. языки. Автору присуждена Гонкуровская премия (1959), Иерусалимская премия (1967). Шварц-Барт — офицер Ордена искусств и литературы (2006).