Сын основателей детской психологии Клары и Вильяма Штерн, двоюродный брат Вальтера Беньямина. Учился в Берлине у Эдмунда Гуссерля и Мартина Хайдеггера (вместе с Хансом Йонасом и Ханной Арендт), Эрнста Кассирера и Пауля Тиллиха, был близок к Франкфуртской школе социальных исследований (Т. Адорно, Г. Маркузе, М. Хоркхаймер, Эрих Фромм и др.). Был женат на Ханне Арендт (1929—1937 гг.). После прихода к власти нацистов эмигрировал сначала в Париж, а затем в 1936 — в США. В 1950 вернулся в Европу, поселился в Вене, получил австрийское гражданство.
Получил известность после публикации книги «Устарелость человека» (1956). Ездил в Хиросиму и Нагасаки в 1958 году, в Освенцим в 1966, после чего публиковал очерки о своих путешествиях в книгах «Человек на мосту» (1959) и «Надпись на стене» (1967). Вторая книга (с главой об Освенциме под названием «Экскурсия в Аид») — это дневник, который охватывает период с 1941 по 1966 год.
Автор монографий о Родене, Кафке, Георге Гроссе, Брехте, Хайдеггере.