Родился 8 января 1919 года в селе Авдотьевка (ныне Софиевского района Днепропетровской области Украины) в семье рабочего. Украинец. Окончил 9 классов и школу ФЗУ, работал электриком-монтажником на трубном заводе в городе Никополь Днепропетровской области. Окончил никопольский аэроклуб.
В Красной Армии с 1937 года, по комсомольской путёвке направлен в Качинскую Краснознамённую школу лётчиков, которую окончил в 1938 году. Служил в Одессе. Участник Великой Отечественной войны с июня 1941 года. Член ВКП(б)/КПСС с 1943 года.
Командир эскадрильи 745-го бомбардировочного авиационного полка (221-я бомбардировочная авиационная дивизия, 16-я воздушная армия, 1-й Белорусский фронт) гвардии майор Иван Яловой к февралю 1945 года совершил триста двадцать шесть успешных боевых вылетов на бомбардировку войск противника, нанеся врагу значительный урон в живой силе и боевой технике.
Указом Президиума Верховного Совета СССР от 15 мая 1946 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецко-фашистскими захватчиками и проявленные при этом мужество и героизм гвардии майору Яловому Ивану Павловичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 9026).
После войны И. П. Яловой продолжал службу в ВВС. В 1947 году он окончил Высшие офицерские лётно-тактические курсы. Учился в Военно-воздушной академии. Служил в авиационных частях в Запорожье, Мелитополе, на Дальнем Востоке, в Сибири. С 1960 года полковник Яловой И. П. — в запасе.
В 1965 году заочно окончил Высшую партийную школу при ЦК КПСС. До ухода на заслуженный отдых преподавал в Днепропетровском институте сельского хозяйства. Жил в городе Днепропетровск. Скончался 15 июня 2006 года. Похоронен в Днепропетровске на Запорожском кладбище.