Джоэл Дэвид Кац родился в городе Кливленд, штат Огайо, США, в семье Грейс и Микки Кац. Отец Джоэла был комедийным актёром и музыкантом. Карьера мальчика началась в 10 лет с выступлений в детских ролях на сцене кливлендского «Cleveland Playhouse».
Популярность Джоэлу Грею принесла роль конферансье в бродвейском мюзикле «Кабаре» режиссёра Гарольда Принса в 1966 году, за которую актёр получил премию «Тони». Другими постановками с его участием были «Приди и протруби в свой рог» (1961), «Остановите Землю — я сойду» (1962), «Пол-шестипенсовика» (1965), «Джордж М!» (1968), «Goodtime Charley» (1975), «Большой тур» (1979), «Чикаго» (1996) и «Злая» (2003).
Дебют Грея в кинематографе состоялся в 1952 году в фильме «About Face». В 1972 году Грей получил премию «Оскар» за лучшую мужскую роль второго плана за роль конферансье в киноверсии мюзикла «Кабаре», обогнав такого заслуженного актёра как Аль Пачино. Его награду разделили также Лайза Минелли, получившая «Оскара» за лучшую женскую роль, и Боб Фосс, выигравший «Оскара» за лучшую режиссуру. Сам фильм «Оскара» за лучшую кинокартину не получил, проиграв «Крёстному отцу», но собрал больше «Оскаров» в сумме. Кроме того, за роль конферансье Грей получил также премию BAFTA за лучший дебют года. Грей стал одним из восьми актёров, получивших премию «Тони» и «Оскар» за одну и ту же роль. Это Юл Бриннер («Король и я», 1956), Ширли Бут («Вернись, малышка Шеба», 1952), Рекс Харрисон («Моя прекрасная леди», 1964), Энн Бэнкрофт («Сотворившая чудо», 1962), Пол Скофилд («Человек на все времена», 1966), Джек Альбертсон («Если бы не розы», 1968) и Хосе Феррер («Сирано де Бержерак», 1950).
В 1967 году Грей дважды появился в телевизионной игре «What’s My Line?», а в 1976 году — в третьем эпизоде «Маппет-шоу», исполнив в нём популярные песни из мюзиклов «Чикаго» и «Кабаре».
В 1985 он сыграл учителя боевых искусств в фильме «Ремо Уильямс: приключение начинается» (1985), эта роль принесла ему номинацию на премию «Сатурн» и вторую номинацию на «Золотой глобус» за лучшего актёра второго плана. В 1991 году Грей появился в роли Адама в заключительной серии ТВ-сериала «Даллас» (1991).
В 1993 году Грея номинируют на премию «Эмми» — «Лучший приглашенный актер комедийного сериала» за роль Якоба Проссмана в телесериале «Бруклинский мост». В 1995 году он появился в эпизодической роли в «Звёздный путь: Вояджер». В 1995 году Джоэл Грей сыграл главную роль Волшебника на благотворительном концерте «Волшебник страны Оз: Мечты сбываются» по мотивам популярного произведения в «Линкольн-центре». В постановке участвовали популярные актеры и исполнители, а все средства от продажи билетов были переданы Фонду Защиты Детей. Выступление транслировалось на американском канале «TNT», а в 1996 году появилось на видео и компакт-дисках. Все средства от продаж также были направлены на благотворительные цели.
В 2000 году Грей появился вместе с исландской поп-певицей Бьорк и французской актрисой Катрин Денёв в фильме «Танцующая в темноте», а затем в нескольких сериях телесериала «Баффи — истребительница вампиров», в эпизодической роли бывшего преступника в сериале «Закон и порядок» (2003).
Кроме этого, Джоэл Грей стал участником популярных сериалов «Доктор Хаус» и «Братья и сестры» (2007). В 2004 году Грей вновь появился на Бродвее в роли Волшебника в популярном мюзикле «Злая» вместе с Индиной Мензель и Кристин Ченовет.
В 1958 году Джоэл Грей женился на Джо Вайлдер, однако в 1982 году супруги развелись. Дочь Грея — актриса Дженнифер Грей, известная исполнительница роли Бэби из фильма «Грязные танцы», сын Грея — Джеймс.
Кроме того, актёр выступал на официальных церемониях вручения «Оскара» и «Тони» как в качестве номинанта, так и ведущего шоу: «Тони»: 58 (2004), 51 (1997), 45 (1991), 42 (1988), 28 (1974), 26 (1972), 21 (1967) церемонии, «Оскар»: 81 (2009), 75 (2003), 70 (1998), 54 (1982), 48 (1976), 45 (1973), 44 (1972).
За вклад в развитие театра Джоэл Грей удостоен звезды на Голливудской аллее славы 6753 на Голливудском бульваре.