Родился в хасидской семье, в 1916 перебравшейся в Вену. Там Шпербер примкнул к молодёжному социал-демократическому движению Хашомер-Хацаир. Учился у Альфреда Адлера до разрыва с ним в 1932; в 1926 Шпербер опубликовал монографическое эссе об учителе.
В 1927 Шпербер переехал в Берлин, вступил в Коммунистическую партию. Профессор психологии и социологии в Берлине (1928—1933). С приходом гитлеровцев к власти был лишён кафедры, посажен в тюрьму, но вскоре освобождён как гражданин Польши. Выехал за границу — в Югославию, а в 1934 — в Париж. В 1937 вышел из рядов коммунистической партии. В 1939 опубликовал в Париже на немецком языке антитоталитаристские эссе Анализ тирании, Тоталитарное государство.
После оккупации Парижа германскими войсками укрывался вместе с семьёй в городке Кань в Приморских Альпах, в свободной зоне, а в 1942 перевёз семью в нейтральную Швейцарию. В 1945 вернулся в Париж, работал в издательстве.
Похоронен на кладбище Монпарнас.
Известен цикл романов Шпербера Как слеза в океане (1949—1955, опубл. 1961), автобиографическая трилогия Все прожитые дни (1974—1977).
Большая литературная премия Баварской академии изящных искусств (1971), премия Георга Бюхнера (1975), Большая государственная литературная премия Австрии (1977), Премия мира немецких книготорговцев (1983).