Джеймс Маркус Смит родился и вырос в Техасе; первое время он слушал в основном кантри и госпел, но затем переключился на рокабилли, во многом благодаря влиянию сестры, о которой известно, что она встречалась с юным Элвисом Пресли.
Начав карьеру на актерском поприще (под псевдонимом Джетт Пауэрс он сыграл несколько эпизодических ролей в Голливуде), Смит затем начал писать собственные песни и в 1959 году получил контракт с Liberty Records — при посредстве Шэрон Шили (автора песен, близкой подруги Эдди Кокрана ), которая и придумала для своего протеже псевдоним P.J. Proby.
В 1963 году Проби отправился в Англию, где появился на телевидении с The Beatles (1964). Почти сразу же здесь вышли один за другим вышли самые известные его синглы: «Hold Me» (поднявшийся до #3), «Together» (#8 UK, здесь ему аккомпанировал тогда еще малоизвестный сессионный музыкант Джимми Пэйдж), «Somewhere» (#6), «I Apologise» (1965, UK #11), «Mission Bell» (1965, #3 Австралия), «Let The Water Run Down» (1965, UK #19), «That Means A Lot» (1965, UK #30) и «Maria» (1965, UK #8). В США умеренный успех имел лишь его сингл «Niki Hoeky», вошедший в первую тридцатку Billboard Hot 100. В 1968 году, снова в Англии, Проби записал альбом Three Week Hero, сборник кантри-блюзовых баллад, в котором ему аккомпанировали The New Yardbirds, группа, вскоре превратившаяся в Led Zeppelin.
В начале 70-х годов Проби стал известен на лондонской театральной сцене (рок-мюзикле по мотивам «Отелло» под названием «Catch My Soul», главная роль в «Elvis — The Musical», позже, в 90-х годах — в трибьюте Рою Орбисону «Only the Lonely»).
В дальнейшем Проби много выступал в ночных клубах и кабаре, но как записывающийся артист лишь эпизодически оказывался в фокусе внимания: сначала в 1978 году, когда с голландской группой Focus записал совместный альбом Focus con Proby, затем с — альбомом Thanks, записанным в Англии. В 1996 году до #56 в Британии поднялся «Yesterday Has Gone» его дуэт с Марком Алмондом. В конце 1990-х годов Проби гастролировал с The Who в постановке Quadrophenia, где играл роль Крестного отца , а в 1997 году попытался (безуспешно) вернуться в чарты с альбомом Legend, выпущенным EMI.
В 2008 году в честью 70-летнего юбилея певца компания EMI выпустила сборник The Best of PJ Proby, The EMI Years 1961—1972.