Родился в еврейской семье Чарльза Стайна и Эммы Стайн (Розенблюм), выходцев из Польши. Вырос в Бронксе. Окончил Нью-Йоркский городской колледж, магистр (Колумбийский университет, 1937). Начинал с работы в психиатрической клинике, совмещая её с написанием пьес. Позже приступил к написанию материала для радио, а также начал работать на телевидении с Сидом Цезаром, в команде автором для программы Your Show of Shows с Мелом Бруксом, Карлом Рейнером и другими.
Джозеф Стайн дебютировал на бродвейской сцене с юмористическими номерами, написанными с Уиллом Гликманом в конце 1940-х годов.
Наибольший успех выпал на долю либретто для мюзикла «Скрипач на крыше» (1964). Стайн также стал автором сценария к одноимённому фильму, получившему три премии «Оскар» и «Золотой глобус».
Член совета Гильдии драматургов с 1975 года. Женат на психотерапевте Эльзе Стайн, сыновья — Даниэль, Гэрри и Джош, сын от первой жены Сэды Зингер-Стайн.