Йонас Штернберг родился в Вене в семье предпринимателя Моисея Штернберга и его жены Серафины. В 1901 году отец забирает его с семьей в Америку, где надеется начать новую жизнь. В 1904 году после безуспешных попыток закрепиться в США супруги Штернберги возвращаются уже с пятью детьми в Вену. В 1909 году семья снова отправляется в Америку; Йонас Штернберг живёт на случайные заработки. По его воспоминаниям, семья живёт на грани прожиточного минимума. С 1911 года Штернберг работает в мастерской по ремонту фильмов, которая позднее входит в состав кинопрокатной фирмы World Film Corporation (WFC). В 1914 году WFC заключает с ним постоянный контракт, и он делает там карьеру. В его задачу входит монтаж и изготовление интертитров (надписей) к фильмам. В 1917 году со вступлением США в Первую мировую войну его призывают на два года в армию, и он служит в Вашингтоне. В 1923 году Штернберг приезжает в Голливуд и работает ассистентом режисссера. Так как продюсеры предпочитают аристократические имена, в титрах его объявляют «Джозефом фон Штернбергом». Он сохраняет это имя. Летом 1924 года по собственному сценарию снимает первый фильм в качестве режиссера — «Охотники за спасением» (The Salvation Hunters). По инициативе Чарли Чаплина «Юнайтед Артистс» покупает этот фильм для проката. В феврале 1925 «Охотники за спасением» выходят на экраны и пользуются огромным успехом. Штернберг заключает контракт с «Метро-Голдвин-Майер», но уже после второго фильма покидает студию. В 1926 году женится на актрисе Ризе Ройс.
1927—1935 годах работает на студии «Парамаунт». В 1927 году его фильм «Подполье» (Underworld) становится важной вехой в развитии жанра ганстерского кино. В 1928 году на экраны выходят такие его фильмы, как «Последний приказ» (The Last Command) и «Доки Нью-Йорка» (The Docks of New York). В «Последнем приказе» он впервые работает с немецким актёром Эмилем Яннингсом, который за исполнение роли русского генерала, ставшего в Голливуде статистом, получает премию американской киноакадемии «Оскар».
В 1929 году Штернберг снимает свой первый звуковой фильм «Гром и молния» (Thunderbolt) и ещё до премьеры уезжает в Германию. В 1930 году по инициативе Эмиля Яннингса на студии УФА он снимает фильм «Голубой ангел» (Der blaue Engel) по роману «Учитель Унрат» Генриха Манна. Несмотря на сопротивление руководства студии, на главную роль он приглашает малоизвестную берлинскую актрису Марлен Дитрих, которая благодаря этой работе приобретает международную известность. Штернберг разводится с Ризой Ройс. В 1931—1935 в Голливуде снимает шесть фильмов с участием Марлен Дитрих, среди которых «Марокко» (Morocco, 1931), «Белокурая Венера» (Die Blonde Venus, 1932) и «Шанхайский экспресс» (Shanghai Express, 1932). Успешное сотрудничество с Дитрих обременяет его личную жизнь в силу слухов об их интимных отношениях. Штернберг разрывает рабочее соглашение.
В январе 1933, незадолго до прихода к власти Гитлера, Штернберг приезжает в Берлин, но понимает, что политическая остановка не благоприятствует сотрудничеству с УФА. Её шеф Альфред Гугенберг поддерживает Гитлера и НСДАП. Штернберг возвращается в Голливуд.
В 1935 он переходит на студию «Коламбия», так как «Парамаунт» решает в пользу Эрнста Любича. Уже после второго фильма разрывает контракт.
В 1938 австрийское правительство предлагает ему пост уполномоченного по вопросам кино. Он надеется использовать свое положение в целях антинацистской пропаганды в стране. Но в силу «аншлюса» Австрии эти планы не удается реализовать. Штернберг испытывает нервный срыв и творческий кризис.
В 1939 в момент начала Второй мировой войны снимает фильм «Сержант Мэдден» (Sergeant Madden) для «Метро-Голдвин-Майер». В 1941 в момент вступления США в войну снимает «Шанхайский жест» для «Юнайтед Артистс». Съемки осложняются его плохим физическим состоянием. В 1943 по заказу департамента военной информации снимает документальный фильм «Город» (The Town) о городке Мэддисон в штате Индиана.
В 1945 женится на Жан Аветт Мак-Брайд; через два года расторгает брак. В 1947 начинает преподавать на отделении кино Калифорнийского университета. В 1948 переезжает из Голливуда в Нью-Йорк, дистанцируется от своих фильмов, объявив их незрелыми. В октября женится на Мэри Отис Уилнер, в семье рождается сын.
22 ноября 1949 Штернберг распродает с молотка свою богатую коллекцию произведений искусства, чтобы финансировать новый фильм. В 1952 в Японии снимает свое художественное завещание — фильм «Сага об Анатаане» (The Saga of Anathan), производство которого находится под его полным контролем. В прокате этот черно-белый поэтический фильм успехом не пользуется.
В 1960 сопровождает Марлен Дитрих в её турне по ФРГ, становится членом Академии искусств в Западном Берлине.
22 декабря 1969 Штернберг умирает в Голливуде.