Джон Рэй родился на острове Мейнленд на Оркнейских островах в холе Клистрайн. После изучения медицины в Эдинбурге Джон Рэй поступил на службу в Компанию Гудзонова залива в качестве врача. В должность он вступил в Муз-Фактори в Онтарио и проработал там в течение 10 лет.
Работая на компанию, Рэй оказывал медицинскую помощь не только европейцам, но и коренному населению севера Канады. Работая в Канаде, Джон Рэй близко общался со многими эскимосами и перенимал их знания о местной природе, в результате чего получил ряд преимуществ перед другими европейскими исследователями того времени. К примеру, он хорошо освоил эскимосские снегоступы, что позволило ему перемещаться на большие расстояния с медицинским оборудованием.
В 1845—1846 годах Джон Рэй в исследовательских целях прошёл на снегоступах более 1200 миль, за что получил среди эскимосов прозвище Аглука (инуктитут Aglooka), что в переводе значит «тот, кто делает длинные шаги». В 1846 году Рэй продолжил свою экспедицию и в 1848 году присоединился к Джону Ричардсону в поисках Северо-Западного морского пути.
В 1849 году Рэй отвечал за район реки Маккензи близ Форт-Симпсона. Вскоре он был призван в экспедицию по поиску двух пропавших кораблей из экспедиции Франклина. Исследуя острова короля Уильяма в 1854 году, на полуострове Бутия, Рэй вступил в контакт с местным населением и получил достаточно много информации о судьбе потерянной военно-морской экспедиции. 21 апреля 1854 года один из эскимосов рассказал ему о 35-40 белых людях которые погибли от голода. Другой эскимос вскоре подтвердил эту информацию добавив о случаях каннибализма среди умирающих моряков. Следы на останках погибших, а также содержание посуды вынудили Джона Рэя согласится с тем что среди членов экспедиции имели место факты каннибализма. Впоследствии случаи каннибализма были доказаны другими исследователями, в частности по следам на найденных костях членов экипажа. Эскимосы также показали ему другие доказательства пребывания в этой местности белых людей, в частности Рэй купил у эскимосов несколько серебряных ложек и вилок, позже было установлено кому конкретно из членов пропавшей экспедиции принадлежали данные предметы.
Вскоре Джон Рэй отправил отчёт в Британское Адмиралтейство о судьбе пропавшей экспедиции, отчёт шокировал и вызвал неоднозначную реакцию в Лондоне из-за фактов каннибализма распространившегося среди погибавших британских моряков. После того как факты указанные в отчёте просочились в прессу вдова Джона Франклина, Джейн Франклин, была крайне возмущена и оскорблена, и привлекла на свою сторону многих сторонников, в частности Чарльз Диккенс написал несколько статей против Джона Рэя взявшего на себя смелость предположить что британские моряки могли опустится до каннибализма.
В 1860 году рей работал на прокладке телеграфной линии, посетил Гренландию и Исландию. В 1864 году также на прокладке телеграфа на западе Канады.
В 1884 году в возрасте 71 года Джон Рэй вновь работает на компанию Гудзонова залива. На этот раз он принимает участие в исследовании Красной реки для изучения возможности прокладки телеграфа из США в Россию.
Джон Рэй имел степень доктора медицины, доктора права, а также являлся стипендиатом Лондонского королевского общества и членом Королевского географического общества. В 1852 году он был награждён золотой медалью от Королевского географического общества. Впоследствии он получил в награду 10000 фунтов (примерно 687744 современных фунтов) за сообщения о экспедиции Франклина.
Джон Рэй скончался от аневризмы 22 июля 1893 года в Лондоне. Через неделю его тело было доставлено на его родину, на Оркнейские острова где он был захоронен в соборе святого Магнуса.
В честь Джона Рэя названы многие топонимы в местностях где он вёл исследования, в частности пролив Рэя между полуостровом Бутия и островами короля Уильяма, а также гора Рэй, река Рэй, перешеек Рэй.
В результате действий леди Франклин, недовольной открытыми нелицеприятными фактами о погибшей экспедиции её мужа и желающей прославить погибших исследователей, Джон Рэй был изолирован от лондонского высшего общества.
И хотя Джон Рэй фактически первым обнаружил недостающее звено в Северо-Западного морском пути ему не было даровано рыцарство, а также не оказывалось других почестей, в том числе и после его смерти. К сравнению, другой шотландский исследователь того времени, Давид Ливингстон получил рыцарское звание и после смерти был похоронен с королевскими почестями в Вестимнстерском аббатстве.
Впоследствии историки обратили внимание на недооценённую роль Джона Рэя в открытии Северо-Западного морском пути, а также участие в поисках пропавшей экспедиции Франклина. Такие авторы как Кен МакГуган отметили его роль в изучении региона, а также в изучении и общении с коренными народами севера Канады. Также было отмечено что Рэй уважительно относился к культуре и обычаям коренных народов, перенимал их навыки выживания в условиях Арктики и выступал против сложившегося мнения многих учёных XIX века считавших коренные народы необразованными и примитивными.