После окончания школы Янг переезжает в Голливуд и поступает в Музыкальный институт. После его окончания в 1985 году, он становится учителем по гитаре.
Фронтмен Megadeth Дэйв Мастейн взял Джеффа в группу, когда увидел, как тот выучил и сыграл соло Криса Поланда из песни «Wake Up Dead» за 30 минут. Вместе с группой в 1988 году он записал платиновый альбом So Far, So Good... So What!
Несмотря на участие в группе, имевшей множество поклонников, Янг чувствовал себя «не в своей тарелке». На сцене он почти не двигался, находился на одном месте и все его внимание было уделено гитаре. Гитара висела на груди (как у джазового музыканта) да и к тому же он не употреблял наркотики, в отличие от остальных. Он явно не походил на гитариста метал-группы.
С 2000 года, попутно борясь с раком яичек, Джефф Янг занялся своим сольным проектом Equilibrium.