Иван Пулюй родился в 1845 году в глубоко религиозной грекокатолической семье.
В 1865 году он закончил Тернопольскую гимназию и поступил на теологический факультет Венского университета, который окончил с отличием. Позднее он поступил на физико-математическое отделение философского факультета того же университета, где учился до 1872 года. Был доцентом Венского университета. В 1874 — 1875 годах Иван Павлович преподавал физику в Военно-морской академии в Фиуме (ныне Риека, Хорватия).
В 1875 году Иван Пулюй, как стипендиат австрийского Министерства просвещения, повышал свои профессиональные знания под руководством профессора Августа Кундта в Страсбургском университете. В 1876 году И. П. Пулюй получил учёную степень доктора натурфилософии, защитив диссертацию на тему «Зависимость внутреннего трения газов от температуры».
В 1884 году Министерство просвещения Австро-Венгерской империи предложило Ивану Павловичу, как профессору экспериментальной и технической физики, возглавить кафедру физики Немецкой высшей технической школы (ныне Чешский технический университет) в Праге, которую он в 1903 году преобразовал в первую в Европе кафедру физики и электротехники. С 1888 по 1889 годы Иван Павлович был ректором этой школы, а созданную им кафедру возглавлял на протяжении 32 лет. Кроме того, И. П. Пулюй был государственным советником по электротехнике Чехии и Моравии.
В 1916 году ему предложили должность министра просвещения Австрии, от которой он отказался по состоянию здоровья.
Умер в 1918 году в Праге, где и похоронен.
При жизни Иван Павлович любил повторять: «Что должно произойти — произойдёт обязательно и будет наилучшим, потому что такова воля Господня».
Явлениями, порождаемыми электрическим током в вакууме, Иван Пулюй заинтересовался ещё в Страсбургском университете. Освоив ремесло стеклодува, он выдувал стеклянные трубки как для своих опытов, так и для нужд коллег-физиков. Подружившийся с ним Никола Тесла, также в это время стажировавшийся у профессора А. Кундта, перенял у Пулюя искусство производства трубок. Иван Пулюй и Никола Тесла, проведя целый ряд исследований с газоразрядными трубками, по мнению многих историков науки и учёных-физиков, оказались ближе всех к разгадке природы излучения, порождаемого катодными лучами. Возвратившись из Страсбурга в Вену Иван Пулюй продолжил заниматься изучением явлений в трубках. В 1880—1882 годах он подробно описал видимые катодные лучи. А в 1881 году сконструированная им трубка, излучающая Х-лучи — прообраз современных рентгеновских аппаратов, была удостоена Серебряной медали на Международной электротехнической выставке в Париже. Во всем мире она стала известна как «лампа Пулюя» и даже в течение некоторого времени выпускалось серийно.
Сконструированная за 14 лет до работ В. К. Рентгена, она генерировала лучи, названные впоследствии по предложению анатома Колликера рентгеновскими. С помощью этого устройства И. П. Пулюй впервые в мировой практике
сделал снимок сломанной руки 13-летнего мальчика, снимок руки своей дочери с булавкой, лежащей под ней, а также снимок скелета мертворождённого ребёнка. Серия рентгенограмм органов человека, выполненная Пулюем, была настолько чёткой, что позволила выявить патологические изменения в телах пациентов. Однако отсутствие должным образом оборудованной лаборатории и материальные трудности сильно тормозили исследования учёного. Сам В. Рентген, кстати, и не претендовал на звание первооткрывателя. Он получил Х-лучи, уже известные ранее, и занимался их дальнейшим изучением и применением. В современном английском принято название Х-лучи, Х-лучевой (X-rays, X-ray).
И. П. Пулюй — автор около 50 научных работ на украинском, немецком и английском языках, главным образом по проблеме катодного излучения и Х-лучей.
Kathodenstrahlen //Bohemia. — 1896. — 11.01
Последние 2 работы были в числе первых, если не первыми, в которых x-лучи названы рентгеновскими.
И. П. Пулюй известен также своим вкладом в продвижении украинской культуры. Ещё в тернопольской гимназии он основал молодёжный кружок «Громада» для изучения и популяризации украинской истории и культуры, а в студенческие годы стал организатором «Венской Сечи», объединявшей украинскую молодёжь австрийской столицы. Вместе с Пантелеймоном Кулишом и Иваном Нечуй-Левицким Иван Пулюй сделал первый перевод на украинский язык Нового и Ветхого Завета, изданных 1903 году Британским библейским обществом. Он активно поддерживал открытие украинского университета во Львове и публиковал статьи, в поддержку украинского языка. Будучи профессором, И. П. Пулюй организовал стипендии для украинских студентов в Австро-Венгрии. Являлся действительным членом Научного общества имени Шевченко.