Родился в аристократической семье. Род Шаховских восходил к Рюрику через святого равноапостольного великого князя Владимира по линии святого князя Федора Смоленского-Ярославского. Отец, землевладелец, несмотря на это пахавший вместе с крестьянами землю в своём имении в Тульской губернии. Мать — правнучка архитектора Карло Росси. Сестра — Зинаида (1906—2001) — писательница, мемуаристка, известный журналист.
Учился в гимназии Карла Мая в Санкт-Петербурге, в школе Левицкой в Царском Селе, в 1915—1917 — в императорском Александровском лицее. Анатолий Краснов-Левитин так описывает судьбу юного князя Шаховского в период революции и гражданской войны:
1917 год перевернул все вверх дном. Князь едет к себе в деревню, в Тульскую губернию. И здесь все вверх дном. Бунт, мятежи. Княгиню с сыном увозят в тюрьму, заложницей остается одиннадцатилетняя сестра княжна Зина. А у княгини с сыном с этого времени начинается бурный период в их биографии. Их сажали и освобождали, и опять сажали. Мальчику Димитрию в это время пришлось испытать столько, сколько ни одному из его предков после времени татарского ига. И отрок-князь проявляет в это время незаурядные способности: достаточно сказать, что в 17 лет ему пришлось побывать в логове зверя, у Дзержинского и у Менжинского, хлопотать за родную мать, которая в это время была в Бутырках и, конечно, каждую минуту ожидала расстрела. И совершилось чудо: княгиню освободили.
(Впрочем, 17 лет Дмитрию Шаховскому исполнилось, когда он уже находился на Юге России, так что во время указанных событий он был ещё младше).
С 1918 был добровольцем в белой армии генерала А. И. Деникина, в боях под Царицыным получил контузию. Окончив Севастопольскую морскую телеграфную школу, был зачислен на Черноморский флот. В 1920 эмигрировал в Константинополь, затем во Францию. Учился в Школе политических наук в Париже, окончил историко-филологический факультет Лувенского университета (Бельгия; 1926). В 1926 редактировал в Брюсселе литературный журнал «Благонамеренный», сотрудничал с русскими изданиями, публиковал стихи.
В 1926 был пострижен в монашество в Пантелеимоновом монастыре на Афоне.
В 1926 учился в Свято-Сергиевском богословском институте в Париже.
С 8 декабря 1926 — иеродиакон (рукоположен митрополитом Евлогием (Георгиевским) в Париже). С 1927 жил в Сербии, находился в юрисдикции Русской православной церкви заграницей (РПЦЗ), был рукоположен во иеромонаха 6 марта 1927 епископом Вениамином (Федченковым) в сербском городе Белая Церковь. В апреле-сентябре 1927 — помощник настоятеля храма при Крымском кадетском корпусе в Белой Церкви, в сентябре 1927—1930 — настоятель этого храма и законоучитель корпуса. Был строителем и первым настоятелем русского храма святого Иоанна Богослова в Белой Церкви, преподавателем в Пастырской школе, в 1928—1930, одновременно, директор Православно-миссионерского издательства в этом городе.
В 1930 вновь переехал в Париж, где перешёл в юрисдикцию Константинопольской Церкви — Западноевропейский экзархат русских приходов, возглавляемый митрополитом Евлогием (Георгиевским). В 1931—1932 был разъездным священником во Франции, в 1931—1932 — первым настоятелем церкви Всемилостивого Спаса в Аньере.
1 апреля 1932 был назначен настоятелем Свято-Владимирской церкви в Берлине. Митрополит Евлогий вспоминал об этом времени, что
приход возглавил о. Иоанн Шаховской, человек даровитый, высокого аскетического склада, подвижнического духа, пламенный миссионерский проповедник. Он привлёк сердца; приход ожил и процвёл.
Сам архиепископ Иоанн вспоминал об этом периоде своей жизни:
Мой берлинский приход св. кн. Владимира был не только местом моей приходской работы, но … стал центром работы печатной, миссионерской и благовестнической. За эти годы пришлось издать много книг и посетить все, кроме Албании, страны Европы со словом благовествования людям русского рассеяния. Особенно утешительными и плодотворными были мои лекционные поездки в Латвию, Эстонию и Финляндию, где оставалось коренное русское население.
С 18 мая 1935 — игумен. С 26 мая 1936 — благочинный приходов Экзархата митрополита Евлогия в Германии, с 2 мая 1937 — архимандрит. Издавал и редактировал журнал «За Церковь», основал одноимённое православное издательство. В 1937 был духовным руководителем добровольческой русской роты в рядах армии генерала Франсиско Франко во время гражданской войны в Испании. Деятельность «евлогианских» приходов в Германии вызывала негативное отношение со стороны нацистских властей, считавших их недостаточно лояльными и предпочитавших контактировать с РПЦЗ. Однако он отказался вновь менять юрисдикцию, хотя и был вынужден в 1942 войти в состав епархиального совета Германской епархии РПЦЗ как представитель приходов, оставшихся в ведении владыки Евлогия.
Одним из самых противоречивых решений Иоанна (Шаховского) стало его первоначальное отношение к нападению нацистской Германии на Советский Союз. Не будучи сторонником нацистов, он, как и часть эмиграции, был подвержен иллюзиям, видя в начавшейся войне шанс на свержение большевистского режима. Выступая в выходившей в Германии газете «Новое Слово» 29 июня 1941 он писал:
Промысл избавляет русских людей от новой гражданской войны, призывая на землю силы исполнить свое предназначение. Право на операцию свержения 3-го Интернационала поручается искусному, опытному в науке своей германскому хирургу. Лечь под его хирургический нож тому, кто болен, не зазорно. Операция началась. Неизбежны страдания, ею вызываемые. Но невозможно было провидению долее ожидать свержения 3-го Интернационала рукою сосланных и связанных на всех местах русских людей… Понадобилась профессиональная, военная, испытанная в самых ответственных боях железно точная рука германской армии. Ей ныне поручено сбить красные звезды со стен русского Кремля, она их собьёт, если русские люди не собьют их сами.
Позднее архимандрит Иоанн не делал подобных заявлений. Во время войны он занимался миссионерской деятельностью среди советских военнопленных. В этот период его издательство было ликвидировано нацистами, а выпущенные им книги — конфискованы.
В феврале 1945 года переехал в Париж, а в начале 1946 — в США. Покинул клир Западноевропейскоо экзархата и принят в юрисдикцию схизматической Северо-Американской митрополии (в 1970 признана Московским Патриархатом как автокефальная Православная Церковь в Америке). В 1946—1947 — настоятель храма в Лос-Анджелесе. С 11 мая 1947 — епископ Бруклинский, викарий митрополита Феофила (Пашковского), ректор Свято-Владимирской духовной семинарии, был противником присоединения митрополии к Московской Патриархии.
С 1950 — епископ Сан-Францисский и Западно-Американский. С 1961 — архиепископ. Заведовал Южноамериканской епархией и заграничными делами Митрополии. Активный участник экуменического движения, член Всемирного совета церквей. В 1975 временно ушёл на покой по болезни, с 1978 постоянно находился на покое.
С 1948 периодически, с 1951 регулярно, а с 1953 еженедельно вёл на радиостанции «Голос Америки» передачу «Беседы с русским народом». Автор многочисленных религиозных трудов, часть которых издана в переводах, на английском, немецком, сербском, итальянском и японском языках.
По словам Анатолия Краснова-Левитина,
архиепископ не только духовное лицо, проповедник. Он писатель, и писатель известный. Его книги читают и эмигранты, попадают они и в Россию. Владыка всегда выбирает очень актуальные темы. Такова его книга о Льве Николаевиче Толстом. Таковы его книги, появившиеся за последнее время, в которых Владыка откликается на все актуальные вопросы нашего времени. При этом надо отметить одну характерную черту Владыки Иоанна: он никогда не опускается до вульгарной полемики, с личными выпадами, с грубостями в адрес идейных противников. Он всегда сохраняет корректный, доброжелательный тон. Владыка, разумеется, всегда пишет как православный епископ. Его православие органично: оно пропитывает все его мысли и чувства. И наряду с этим, широта: он может всегда понять противника, и, чувствуется, его уважает и питает к нему христианские чувства. Таковы же его воспоминания. Никакого пристрастия, никаких опрометчивых суждений.
Скончался на покое в Санта-Барбаре. Был похоронен на сербском кладбище.
Владыка Иоанн занимался литературным творчеством — прозаическим и поэтическим — под псевдонимом Странник, был автором многочисленных стихотворных произведений.
Баллада о крохах
…И псы едят крохи, которые падают со стола… (Мф. 15, 27)
Иночество