Йозеф Шильдкраут родился в Вене в семье театрального актёра Рудольфа Шильдкраута. В начале 1900-х он переехал в США, где сделал карьеру на Бродвее, появившись во множестве успешных постановках, наиболее заметной из которых стала пьеса Генрика Ибсена «Пер Гюнт». В 1915 году актёр дебютировал на большом экране, снявшись в последующие пятнадцать лет в двух десятках немых фильмов, среди которых «Сиротки бури» (1922) Д. У. Гриффита и «Царь царей» Сесила Б. Де Милля, где Шильдкраут сыграл Иуду Искариота.
С началом эры звукового кино Джозеф Шильдкраут успешно продолжил и далее появляться на большом экране. В 1937 году он стал обладателем премии «Оскар» в номинации «Лучший актёр второго плана» за свою роль в фильме «Жизнь Эмиля Золя». Из последующие ролей наиболее заметными стали его появления в фильмах «Мария-Антуанетта» (1938) с Нормой Ширер в главной роли, и «Человек в железной маске» (1939). В 1959 году Шильдкраут был номинирован на «Золотой глобус» за роль Отто Франка в фильме «Дневник Анны Франк».
С началом 1950-х годов актёр стал регулярно появляться на телевидении, где в 1963 году был номинирован на премию «Эмми» за роль в теледраме «Сэм Бенедикт».
Джозеф Шильдкраут трижды был женат. С первой супругой он развёлся в 1930 году, вторая скончалась в 1962, а с третьей он прожил менее года после свадьбы и скончался в январе 1964 года от инфаркта. За свой вклад в киноиндустрию актёр удостоен звезды на Голливудской аллее славы.