Народився 2 лютого 1845 року в релігійній греко-католицькій родині у містечку Гримайлові на Тернопільщині. З відзнакою закінчив Тернопільську гімназію (1865р.), теологічний (1869р.) і філософський (1872р.) факультети Віденського університету. В 1872—1874 р. Пулюй уже працює як науковець у фізичній лабораторії професора фон Лянґа. Був доцентом Віденського університету. В 1874 — 1875 роках Іван Павлович викладав фізику у Військово-морській академії в Фіуме (нині Рієка, Хорватія). У 1875 році Іван Пулюй, як стипендіат австрійського Міністерства освіти, підвищував свої професійні знання під керівництвом професора Августа Кундта в Стразбурзькому університеті. 1875 р. в Страсбурзькому університеті вивчає електротехніку.
У 1876 році захистив докторську дисертацію та здобув ступінь доктора філософії Страсбурзького університету. Здобувши у Вiднi звання доцента, вчений понад тридцять рокiв (1884-1916) працював професором нiмецького Празького полiтехнiчного iнституту, займав посади декана фiзичного факультету та ректора цього закладу. 1902 р. — перший декан першого в Європі електротехнічного факультету. Цісар Франц-Йосиф іменував Івана Пулюя Радником Двору, нагородив Лицарським Хрестом. В 1884 році Міністерство освіти Австро-Угорської імперії запропонувало Івану Павловичу, як професору експериментальної і технічної фізики, очолити кафедру фізики Німецької вищої технічної школи (нині Чеський технічний університет) в Празі, яку він в 1903 році перетворив в першу в Європі кафедру фізики та електротехніки. З 1888 з 1889 и Іван Павлович був ректором цієї школи, а створену ним кафедру очолював протягом 32 років. Крім того І. П. Пулюй був державним радником з електротехніки Чехії і Моравії.
В 1916 році йому запропонували посаду міністра освіти Австрії, від якої він відмовився за станом здоров’я. Автор близько 50 наукових і науково-популярних праць із фізики та електротехніки українською, німецькою та англійською мовами. Іван Пулюй був дійсним і почесним членом Наукового Товариства імені Т. Шевченка, належав до когорти вчених світової слави, що формували світ двадцятого століття. Знаменитий фізик і електротехнік Іван Пулюй стояв біля витоків одного із найвизначніших досягнень людства — відкриття «Х»-променів, отримав перші високоякісні світлини з їх застосуванням. Всі експерименти з «Х»-променями вчений проводив з вакуумними трубками власної конструкції. Об’єктом його уваги були також проблеми молекулярної фізики, дослідження властивостей та природи катодних променів.
Одним з улюблених занять Івана Пулюя був переклад релігійних праць із стародавніх мов. Разом з відомим істориком, письменником, етнографом, перекладачем Пантелеймоном Кулішем та широко знаним письменником Іваном Нечуй-Левицьким Іван Пулюй зробив перший переклад українською мовою Нового та Старого Завіту.
Помер видатний вчений 31 сiчня 1918 року у Празi, де i похований.