Грей учился в Калифорнийском университете в Беркли с 1961 года, где получил степень бакалавра по математике в 1966 и степень доктора философии по информатике в 1969 году. Грей стал первым студентом, получившим этот титул при факультете информатики в Беркли.
Джим Грей работал в Bell Labs, в IBM, где внёс большой вклад в разработку системы управления базами данных IBM System R, в Tandem Computers, а также в Digital Equipment Corporation (DEC). С 1995 и до своего исчезновения в 2007 году Грей работал в исследовательском центре Microsoft в Сан-Франциско. Там он сделал первые шаги в развитии проекта Worldwide Telescope, поэтому Microsoft посвятила этот проект в 2008 году именно Грею.
После того, как Джим Грей не вернулся после однодневного путешествия на яхте к островам Фараллон, его жена сделала заявление в полицию вечером 28 января 2007 года. 1 февраля береговая охрана прекратила поиски. Друзья и коллеги Джима продолжили поисковые работы своими силами, но вынуждены были смирится с потерей. 16 февраля поиски были прерваны. До лета 2007 года семья Джима Грея верила в спасение учёного. 31 мая 2008 года в Калифорнийском университете в Беркли прошла торжественная церемония в честь Грея (организаторы подчёркивали, что вечер проводится не «памяти» Грея, а «в честь», так как его судьба остается неизвестной). Представители Microsoft заявили о том, что новый исследовательский центр в Висконсине будет носить имя Джима Грея.