Учился в католической школе, не закончил Будапештского университета. Начал публиковаться в 1938. Осенью 1944 был мобилизован и отправлен в Германию, где вскоре — во время операции войск союзников в долине Рейна — вместе с товарищами попал в один из беженских лагерей UNRRA. В таких лагерях он работал, дожидаясь отправки на родину — на правах «перемещенного лица», «ди-пи», а не военнопленного. Вернулся в Венгрию в ноябре 1945. В 1946—1947 сотрудничал с журналом «?jhold» («Новолунье»), но не вписывался в формирующуюся литературу социалистической Венгрии. В 1947—1948 был стипендиатом в Риме, с 1957 регулярно писал короткие эссе для католического еженедельника «?j Ember» («Новый человек»). В 1960-1970-х годах выступал с чтением своих стихов в странах Европы и США. Сотрудничал с кинорежиссером Дюлой Мааром, который позже создал несколько документальных фильмов о поэте.
В скупых по объему (чаще всего — в несколько строк), лапидарных по форме, предельно экспрессивных стихах, насыщенных метафорами гибельных испытаний, краха, второго рождения, поисками подлинной общности людей и живой связи с запредельным, выразилось эсхатологическое переживание катастроф ХХ столетия, опыт Освенцима и ГУЛАГа. Настольными для Яноша Пилинского были романы Достоевского, к чьим образам он не раз обращался в стихах, книги Симоны Вейль, с которыми он познакомился во Франции в первой половине 1960-х годов и которые перевел на венгерский.
Сам Пилинский писал об этом так: «По душе я хотел бы принадлежать к арьергарду в смысле, какой вкладывал в это слово Достоевский, — как и все по-настоящему современные художники, которые всегда в той или иной форме являются изгоями в сиюминутной жизни, тогда как другие в лучшем случае — простодушными игрушками дня. Боюсь, что искусство нового времени позавидовало точности естественных наук. С тех пор мы только и делаем, что говорим о стиле: все то, что в науке ведет к безграничной уверенности в себе, в литературе становится лишь искусством стиля. Достоевский был плохим стилистом, его фразы тяжеловесны и падают куда придется. Но в них есть подлинная весомость, и они падают туда, где им и место».(Иностранная литература, 1999, № 8)
В 1960-х годах Пилинский получает признание за пределами Венгрии. На английский язык его стихи переводит Тед Хьюз, на французский — Пьер Эмманюэль и Лоран Гаспар, на шведский - Томас Транстрёмер; четыре романса на его стихи пишет в 1973—1975 годах Дёрдь Куртаг. Поворотной точкой в судьбе Пилинского стал парижский спектакль американского режиссера-авангардиста Роберта Уилсона «Взгляд глухого» (1971) и знакомство тогда же с актрисой Шерил Саттон, воображаемая переписка с которой легла в основу его романа-диалога. Янош Пилинский был удостоен премий Ференца Баумгартена (1947), Аттилы Йожефа (1971), Лайоша Кошута (1980). Произведения Пилинского переведены на английский, французский, немецкий, испанский, итальянский, нидерландский, норвежский, финский, польский и чешский языки. Музыку на его стихи писали Аттила Бозай, Иштван Ланг, Филип Баллу, Брюно Мантовани.