Родился в городе Оук-Парк (штат Иллинойс) в семье Джона Г. Шриффера и Луизы (урождённой Андерсон) Шриффер. В 1940 году семья переезжает в город Манхассет, штат Нью-Йорк, а ещё через девять лет в город Юстис (штат Флорида). Живя во Флориде, Джон любил играть с самодельными ракетами и радио, что и сформировало его интерес к электротехнике.
Окончив Юстисскую среднюю школу, в 1949 году Шриффер поступает в Массачусетский технологический институт, намереваясь стать инженером-электриком. Через два года он избирает своей специальностью физику и в 1953 году получает степень бакалавра под руководством Джона К. Слэтера.
В 1954 г. он защищает в университете штата Иллинойс диссертацию, выполненную под руководством Джона Бардина, и получает степень магистра. Диссертация была посвящена исследованию электронной проводимости на поверхности полупроводника. По завершении работы над диссертацией он присоединяется к Бардину в исследовании явления сверхпроводимости и свойств вещества при температурах, близких к абсолютному нулю.
В 1956 г. Шриффер, Бардин и Купер разработали теорию сверхпроводимости кристаллических твёрдых тел, основанную на представлении о сверхтекучести куперовских пар электронов.
За вклад в теорию сверхпроводимости Шриффер в 1957 г. был удостоен докторской степени в Иллинойском университете.
В 1957—1958 гг. на правах постдокторанта Национального научного фонда (Какой страны?) Шриффер занимался исследованием сверхпроводимости в Бирмингемском университете (Англия) и в Институте Нильса Бора в Копенгагене (Дания).
В Копенгагене в 1960 г. он встретил Анне Грете Томсен. Через несколько месяцев они поженились. У них две дочери и сын.
В 1964, Шриффер публикует свою книгу о теории БКШ, «Theory of Superconductivity».
В 1957—1960 гг. Шриффер преподавал физику в Чикагском университете, в 1959—1960 гг. в университете штата Иллинойс, в 1962 г. в Пенсильванском университете, в 1969—1975 гг. в Корнеллском университете и с 1975 г. — в Калифорнийском университете в Санта-Барбаре. Он занимается также исследованием магнитных свойств материалов, свойств сплавов и поверхностных эффектов.
В 1972 г. Шрифферу, Куперу и Бардину была присуждена Нобелевская премия по физике «за созданную их совместными усилиями теорию сверхпроводимости, обычно называемую теорией БКШ».
9 ноября 2005 года был приговорен к двум годам тюремного заключения за неумышленное убийство (автокатастрофу по его вине).
Помимо Нобелевской премии Шриффер удостоен многочисленных наград, в их числе премии Комстока американской Национальной академии наук (1968), премии Оливера Бахли по физике твёрдого тела Американского физического общества (1968) и медали Джона Эрикссона Американского общества шведских инженеров (1976). Шриффер является почетным доктором пяти университетов, членом американской Национальной академии наук (1971), Американской академии наук и искусств, Американского философского общества и Датской королевской академии наук и искусств.