Джон Кемени родился в семье венгерских евреев. После начала войны семья эмигрировала в Нью-Йорк; родственники, оставшиеся в Венгрии, погибли в концлагерях.
Закончив с отличием среднюю школу, Джон поступил в Принстонский университет (1943), где изучал математику и философию. Одарённого студента привлекли к Манхэттенскому проекту, где он работал под руководством Ричарда Фейнмана. Там он познакомился с Джоном фон Нейманом.
В 1947 году Кемени получил степень бакалавра и начал работу над докторской в области оснований математики, которую защитил два года спустя. Его научным руководителем был Алонзо Чёрч. Одновременно Кемени сотрудничал с проживавшим в Принстоне Эйнштейном в качестве консультанта по математическим вопросам.
В 1951 году женился. У него родились двое детей.
С 1953 года Кемени преподаёт на факультете математики престижного Дартмутского колледжа. С 1955 по 1967 годы он руководитель этого факультета, а в 1970 году становится (не оставляя преподавательскую работу) президентом Дартмутского колледжа. В этот период его привлекает идеи автоматизации программирования и применения компьютеров в обучении. Совместно с Томасом Курцем он разработал для этого первую версию языка программирования Бейсик (1964), которую внедрил на специально разработанной системе разделения времени для сети мини-ЭВМ LGP-30.
Опубликовал несколько монографий в области математической логики и дискретной математики.
Скончался от болезни сердца в 1992 году.