И. П. Зеленюк родился 16 (29) декабря 1914 года в селе Кочержинцы Киевской губернии Российской империи в крестьянской семье. По национальности — украинец. По окончании в 1932 году сельскохозяйственного техникума работал агрономом-садоводом в Абхазии, а через некоторое время продолжил работу на родине, в Уманском районе Черкасской области.
В РККА с 1941 года, с 1942 года в действующей армии. В 1943 году оканчивает Харьковское училище противотанковой артиллерии.
Во время боёв под Берлином лейтенант Зеленюк командует огневым взводом 530-го истребительно-противотанкового артиллерийского полка 28-й армии 1-го Украинского фронта.
30 апреля 1945 года артиллеристы взвода выполняли боевую задачу по удержанию противника в районе населённого пункта Куммерсдорф в сорока километрах южнее Берлина.
Положение осложнялось отсутствием пехоты. В этом ожесточённом бою лейтенант Зеленюк в течение часа сражался, пока оставались снаряды и патроны, оставшись один у орудия. После чего совершил поистине героический поступок: подпустил гитлеровцев к орудию и взорвал себя противотанковой гранатой, при этом уничтожив двенадцать солдат противника. Так оборвалась жизнь тридцатилетнего Героя, не дожившего до победы каких-то девяти дней.
В этом бою силами взвода под командованием Зеленюка было уничтожено три бронетранспортёра, одна самоходная артиллерийская установка, легковая автомашина и около ста двадцати единиц живой силы противника.
Указом Президиума Верховного Совета СССР от 27 июня 1945 года за образцовое выполнение заданий командования и проявленные при этом мужество и героизм, лейтенанту Зеленюку Иосифу Павловичу посмертно присвоено звание Героя Советского Союза.