До Orgy Джей Гордон работал с группами Lit и Deadsy, а также сотрудничал с несколькими популярными рок-музыкантами в проекте под названием The Wondergirls. На протяжении своей музыкальной карьеры Гордон поработал с таким известным музыкантом как Джонатан Дэвис из Korn, и группами Crazy Town, Coal Chamber и Linkin Park. В особенности стоит отметить его работу с Coal Chamber в качестве продюсера их первого одноименного альбома. Гордон и Мигз из Coal Chamber жили в одной квартире до того, как их группы стали популярными. Также он является вокалистом группы Machine Gun Orchestra.
Первый релиз Orgy, альбом 1998 года Candyass добился очень большого успеха, не в последнюю очередь из-за популярности песни «Blue Monday», а также первого сингла группы, «Stitches». Группа выпустила синглы на обе песни, включавшие помимо оригинальных песен различные ремиксы, некоторые из которых были созданы лично Гордоном. Традиция размещать на синглах ремиксы на песню продолжилась на всех последующих синглах Orgy. В 2000, Orgy выпустили второй полноформатный альбом, Vapor Transmission, который также разошёлся внушительным тиражом, хотя и не смог превзойти бешеный успех своего предшественника.
Период, последовавший за выходом Vapor Transmission, стал беспокойным для группы. Orgy покинули Elementree и Reprise Records, предположительно при дружеских обстоятельствах. Барабанщик Бобби Хьюитт ушёл из группы, чтобы присоединиться к своему брату Фабу Фернандесу в группе Snake River Conspiracy, но впоследствии вернулся в Orgy. Прошло четыре года между выходом Vapor Transmission и их третьего альбома Punk Statik Paranoia, вышедшего в 2004, когда поклонники группы начали сомневаться в том, что группа когда-нибудь выпустит новый альбом.
В 2002 Джей Гордон исполнил песню «Slept So Long» для саундтрека к фильму «Королева проклятых» из-за контрактных ограничений, наложенных на композитора песни Джонатана Дэвиса, по которым ему было запрещено исполнять вокальные партии на сочиненных им песнях, вошедших в этот саундтрек (несмотря на это, Джонатан Дэвис лично исполнил все песни в фильме, что не являлось нарушением, так как на экране при этом был Стюарт Таунсенд, исполнивший роль Лестата). Также Гордон появлялся вместе с Orgy на других саундтреках, например на фильм «Образцовый самец», который содержал ранее неиздаваемую песню «Faces».
В настоящее время Джей Гордон, вместе со своим отцом Лу Гордоном, владеет и руководит звукозаписывающим лейблом D-1 Music, на котором был записан и выпущен альбом Punk Statik Paranoia, а также DVD Orgy Trans Global Spectacle DVD. Сейчас Orgy по-прежнему является действующей группой, несмотря на то, что все участники группы постоянно заняты в различных сторонних проектах.