Джон родился в «музыкальной семье» — оба родителя играли на пианино, но музыкального образования у него не было, он был самоучкой. В 1945 его семья переехала в пригород, Мэриленд, где до самой смерти жил его отец Эл. По выходным они посещали представления известных кантри и фолк гитаристов, что и привило молодому Джону страсть к музыке.
В 1952, потрясенный игрой гитариста Фрэнка Ховингтона, случайно встреченного на рыбалке, он купил свою первую гитару за 17 долларов. Наряду с увлечением кантри, Феи, воспитывавшийся, однако, в атмосфере неприязни к неграм и «черной» музыке, с ранних лет начинал испытывать страсть к блюзу, одной из первых впечатливших его композиций была песня Слепого Вилли Джонсона «Praise God I’m Satisfied». Позже и сам Феи писал композиции на религиозную тематику. Свой вклад в формирование стиля гитариста внесла и классическая музыка в лице таких композиторов, как Чарлз Айвз и Бела Барток. Свои первые записи Джон Феи сделал в 1958 году под псевдонимом Blind Thomas. В 1959 году он основал собственный лейбл — Takoma, под которым позже начинали свою карьеру некоторые другие фолк-исполнители, как, например, Питер Ланг, Робби Башо, Лео Коттке, с которыми он неоднократно сотрудничал.. На одной из сторон его первого альбома, выпущенного тиражом всего 100 экземпляров, было имя John Fahey, а другой — его псевдноим Blind Joe Death, которым Джона окрестили его приятели.
В 1963, после окончания Американского Университета со степенью философа-религиоведа, Фэи перебирается в Беркли, чтоб продолжить философское образование, однако был разочарован не только учебным планом (и впоследствии жалел, что не выбрал факультет психологии), но и стремительно развивавшимся в Калифорнии движением хиппи, а к политическим активистам, «возрожденцам» народной музыки типа Пита Сигера, к которым его часто причисляли, питал отвращение. Через год Джон возрождает свой лейбл Takoma, движимый идеей сделать записи легенды блюза тех времен — Букки Уайта. Зная по песням блюзмена лишь его родной город, Фэи посылает туда письмо, которое, однако, достигает адресата (аналогичным образом потом был найден и Миссисипи Джон Хёрт), и Фэи со своим приятелем отправляются в Мемфис. В это же время Фэи решает записать второй альбом, получивший название Death Chants, Breakdowns and Military Waltzes, который, к удивлению автора, продавался лучше чем записи Уайта. Этот момент послужил началом восхождению Фэи. Характерной чертой для всех работ Джона середины 60-х стало использование различных гитарных строев и неожиданные смены стиля, приемы, корнями уходящие в 1920-е годы. Однако Фэи стремился вовсе не к подражанию или копированию, хоть и использовал некоторые блюзовые и классические мотивы в своих произведениях, в его музыке множество стилей слились воедино в очень оригинальном, мистическом ракурсе. Все это время Фэи развивает свой лейбл, привлекая к записи таких музыкантов, как Робби Башо, Питер Ланг и Лео Коттке, а дебютный релиз последнего стал самым успешным выпуском Takoma, реализовавшим более 500 000 копий.
На протяжении второй половины жизни пристрастие к алкоголю и личные проблемы разрушали не только его карьеру и материальное положение, но и здоровье, тяжелое состояние которого и послужило причиной относительно ранней смерти музыканта в возрасте 61 года. Фэи является автором нескольких книг, в том числе обширной автобиографии.