Будущий композитор родился в семье Юлиуса и Оттилии Грюнталь. Вскоре после его рождения семья переехала в Берлин, где Юлиус Грюнталь преподавал древние языки в Высшей школе иудаики. Йосеф Таль поступил в Государственную высшую школу музыки, его учителями были Пауль Хиндемит и Хайнц Тиссен (теория музыки и композиция), Курт Закс (история музыки) и Макс Трапп (фортепиано). В 1927 году Таль заинтересовался электронной музыкой и изучал её при поддержке Фридриха Траутвайна. Во время обучения, а также после его окончания в 1931 году Таль зарабатывал на жизнь, играя на танцах и в кинотеатрах, а также давая уроки фортепианной игры. После прихода к власти нацистов Таль остался безработным, а в 1934 году эмигрировал в Палестину вместе с женой Рози Лёвенталь и малолетним сыном Ройбеном.
В Палестине Таль некоторое время работал фотографом (это искусство он начал изучать ещё в Германии), в 1936 поселился в Иерусалиме и вернулся к активной карьере музыканта: играл на фортепиано и давал частные уроки. В этот период он сближается с иерусалимской культурной богемой, в том числе с поэтессой Эльзой Ласкер. По приглашению Эмиля Хаузера Таль начал преподавать фортепиано, теорию музыки и композицию в Палестинской консерватории. С 1951 года он также работал в Еврейском университете в Иерусалиме, где в 1961 году основал первую в Израиле студию электронной музыки, а в 1965 ? отделение музыковедения, которое сам и возглавлял до 1971 года. Среди учеников Таля ? Бен-Цион Оргад, Наоми Шемер и многие другие известные израильские музыканты. Таль был членом Международного общества современной музыки, писал многочисленные статьи и читал лекции. Вплоть до преклонного возраста Таль сочинял музыку, в последние годы жизни завершил автобиографию и ряд теоретических работ.
Таль ? лауреат многочисленных международных наград в области академической музыки, в том числе Премии Вольфа за 1982 год.