Родился в 1919 году в селе Порадовка Киевской губернии (ныне Лысянский район, Черкасская область, Украина) в крестьянской семье. Украинец. Окончил 2 курса сельскохозяйственного техникума и аэроклуб в городе Феодосия (Крым, Украина).
В Красной Армии с 1939 года. В том же году окончил Качинскую военную авиационную школу пилотов. Участник Великой Отечественной войны с июня 1941 года.
Командир 2-й авиационной эскадрильи 131-го истребительного авиационного полка (217-я истребительная авиационная дивизия, 4-я воздушная армия, Закавказский фронт) кандидат в члены ВКП(б) лейтенант Филипп Яровой к августу 1942 года совершил сто шестьдесят семь успешных боевых вылетов, в воздушных боях сбил четыре вражеских самолёта.
Указом Президиума Верховного Совета СССР от 23 ноября 1942 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецко-фашистскими захватчиками и проявленные при этом мужество и героизм лейтенанту Яровому Филиппу Степановичу присвоено звание Героя Советского Союза.
12 сентября 1942 года в районе города Малгобек, ныне Республика Ингушетия, старший лейтенант Яровой Ф. С., прикрывая вынужденную посадку ведущего, в воздушном бою против двух «мессершмиттов», пал смертью храбрых в лобовой атаке.
Похоронен в селе Михайловское Северной Осетии.
Награждён орденом Ленина, орденом Красного Знамени.