Джон Першинг родился на ферме в штате Миссури недалеко от города Леклейд (англ. Laclede), в который переехал в 1861, после того, как его отец купил там склад. Окончил школу в 1878, в 1880—1882 учился в Первой миссурийской нормальной школе (впоследствии Государственный университет Трумэна в Кирксвилле), весной 1882 поступил в Военную академию в Вест-Пойнте, которую окончил в 1886, получив звание младшего лейтенанта американской армии. Служил в 6-м кавалерийском полку (первоначально расквартированном в штате Нью-Мексико, впоследствии в Калифорнии, Аризоне, Северной Дакоте и Айове), участвовал в операциях против апачей и сиу; в 1890 принял участие в подавлении последних восстаний сиу в Су-сити. В 1895 был повышен в звании до старшего лейтенанта и переведён в 10-й кавалерийский полк (Форт-Ассирнибойн), который состоял из афроамериканских солдат под командованием белых офицеров (впоследствии служба в частях, состоящих преимущественно из чернокожих солдат, принесла ему прозвище «Блэк Джек»). С 1897 служил инструктором тактики в Вест-Пойнте.
В 1898, во время испано-американской войны, участвовал в сражениях на Кубе, с 1899, во время испано-филиппинской войны, служил на Филиппинах, где в 1901 получил звание капитана, в 1901 участвовал в военных действиях в Китае во время подавления Боксёрского восстания.
Першинг вернулся в США в 1903 и в 1905 указом Теодора Рузвельта был повышен в звании сразу до бригадного генерала (минуя при этом 3 звания и обойдя 835 офицеров более высокого ранга). В 1905 получил должность военного атташе в Токио и во время японской войны находился при японской армии в Манчжурии, выполняя обязанности наблюдателя. В 1908 был военным наблюдателем на Балканах, после чего в 1909 вернулся на Филиппины, где служил до 1912, занимая должность губернатора провинции Моро. С января 1914 командовал 8-й бригадой в Форт Блиссе (Техас), в 1916—1917 возглавлял её во время карательной экспедиции американских сил в Мексике (во время Мексиканской революции). С 1916 — генерал-майор.
Когда США вступили в Первую мировую войну на стороне Антанты, Джон Першинг был 10 мая 1917 назначен командующим экспедиционными силами во Франции, при этом повышен в звании до полного генерала (первым после Шеридана в 1888). В августе 1917 прибыл во Францию. Долгое время численность американской экспедиционной армии была невелика, существенную роль она впервые сыграла только во время второго сражения на Марне летом 1918. В сентябре 1918 Першинг руководил Сен-Мийельской операцией. При разделении американских войск во Франции на две армии назначен 10 октября 1918 главнокомандующим всеми американскими войсками в Европе. Першинг, выпускник Вест-пойнта, был служакa, который приходил в ярость от малейшего нарушения военных регламентаций. Он был отчасти немецкого происхождения, восхищался дисциплиной и военными умениями немцев, и пытался заставить свои войска подражать им. Еще он был сентиментальным семьянином, чьи письма жене Франсез обычно начинались словами «Моя любимая Фрэнки» и обычно подписывались «Джеки». Возможно, что именно его преданность жене и детям была причиной холодного отчуждения, проявившегося у него ко времени прибытия в качестве главнокомандующего американских экспедиционных сил. В 1915 году, за неделю до того, как его жена с их тремя дочерьми и сыном должна была прибыть в Эль Пасо, откуда он проводил свою кампанию против мексиканца Панчо Вильи, ему сообщили телеграммой, что пожар уничтожил его дом в офицерских казармах в Президио в Сан-Франциско, и что вся его семья, за исключением сына Френсиса, шести лет, погибла в огне. Першинг принял новость без внешних эмоций, но спустя несколько дней его волосы поседели, а очертания рта приобрели жесткость, которая отмечала их и впредь. Во Франции он имел мало близких друзей, дал мало пресс-конференций и ни одного личного интервью. Типичным было его обращение с Уэстбруком Пеглером, позднее знаменитым колумнистом. В это время Пеглер из Соединенной прессы был в возрасте 23 лет, самым молодым военным корреспондентом в штаб-квартире американской прессы. Так что, когда он объявил, что собирается пойти в главный штаб, чтобы потребовать интервью с Першингом, его коллеги только ухмыльнулись. Полчаса спустя Пеглер вернулся и уже печатал на своей печатной машинке. Наконец, один из старших корреспондентов не смог больше вытерпеть и как бы невзначай спросил Пеглера, что ему сказал Першинг. Пеглер вынул бумагу из машинки и протянул ее спросившему. На ней читалось: "Этот корреспондент сегодня взял интервью с генералом Першингом. Генерал сказал: «Пеглер, убирайтесь к дьяволу из моего офиса». Коллеги Пеглера позднее признали, что это было очень точное описание того, что случилось.
После войны Джон Першинг приобрёл огромную популярность в США. В 1919 Конгресс США уполномочил президента присвоить ему высшее звание в американской армии — звание Генерала армий США (это звание было создано специально для Першинга и впоследствии было присвоено только Джорджу Вашингтону — посмертно, в 1976). В 1920 возникла идея выдвинуть Першинга в президенты США, однако он отказался. 1 июля 1921 Першинг стал главой Генерального штаба США и занимал эту должность три года, вплоть до своего выхода в отставку 13 сентября 1924. В 1930-е выпустил мемуары под названием «Мой опыт мировой войны» (англ. My Experiences in World War), за которую в 1932 получил Пулитцеровскую премию. С мая 1937 и до конца жизни занимал пост президента Американского военного движения. Во время Второй мировой войны был сторонником активной поддержки Великобритании.
Скончался в военном госпитале Уолтера Рида в Вашингтоне, похоронен на Арлингтонском национальном кладбище.
В честь Першинга названы танк и баллистическая ракета. Имя генерала Першинга носит округ Першинг в штате Невада, а также площадь в центральном районе Лос-Анджелеса a также площадь на пересечении 42 улицы и Парк Авеню в Нью-Йорке.
На аверсе американской медали изображен портрет генерала Першинга.