Йозеф Кайльберт происходил из музыкальной семьи: его дед был военным музыкантом, отец — виолончелистом Баденского придворного оркестра в Карлсруэ. Здесь же Кайльберт начал свою карьеру в 1925 году в качестве коррепетитора, а в 1935 году стал генеральмузикдиректором.
В 1940—1945 годах. он руководил Немецким филармоническим оркестром в Праге, в 1945—1951 годах — Дрезденской государственной оперой. С 1950 года дирижёр возглавлял Бамбергский симфонический оркестр, созданный на базе бывшего пражского оркестра. В 1959 году Кайльберт принял пост генеральмузикдиректора Баварской государственной оперы в Мюнхене.
В 1952—1956 годах он 56 раз дирижировал спектаклями Байройтского фестиваля, неоднократно принимал участие в Зальцбургском фестивале, также работал в Берлинской государственной опере (1950) и руководил Гамбургским филармоническим оркестром (с 1951 года).
Йозеф Кайльберт умер, дирижируя «Тристаном и Изольдой» в Мюнхене.
Йозеф Кайльберт был одним из наиболее уважаемых дирижёров Германии. Он прославился своими интерпретациями Моцарта и Вагнера, а также Брукнера, Брамса, Сметаны, Дворжака, Пфицнера и др. композиторов. Активно гастролировал, сотрудничал с выдающимися музыкантами своего времени, осуществил много записей.
Баритон Дитрих Фишер-Дискау писал о нём так: «Кайльберту были милы широкие, типично немецкие временные массы. Он здесь твердо стоял на стороне Фуртвенглера. Последний говорил мне, что считает Кайльберта наиболее значительным среди дирижеров молодого поколения еще и потому, что тот способен уверенно и действенно провести нарастание с начала до конца».