Родился 4 ноября (23 октября) 1894 года в семье заводского рабочего в селе Малый Выстороп ныне Лебединского района Сумской области Украины. Украинец. В 13 лет стал работать на сахарном заводе, затем был учеником токаря и посещал воскресную школу. Призванный в армию в 1914, рядовым прошёл Первую мировую войну.
После Октябрьской революции вступил в Красную Гвардию. Был помощником командира партизанского отряда во время оккупации Украины германской армией в 1918. Участвовал в гражданской войне комиссаром полка и бригады в 1-й Конной армии, воюя на Южном фронте; в советско-польской войне 1920. Член КПСС с 1919 года. Окончил курсы усовершенствования начсостава в 1926 и 1930, Военную академию им. М. В. Фрунзе в 1934. Командовал эскадроном, полком, бригадой, был помощником командира горнокавалерийской дивизии. В 1934—1936 годах был военным советником в Китае («русским генералом китайской службы») в борьбе против уйгурских повстанцев Ма Чжунина в китайской провинции Синьцзян. В 1937—1940 служил военным атташе в Польше и Китае, а затем перешёл на преподавательскую работу.
Во время Великой Отечественной войны после неоднократных рапортов с просьбой о направлении на фронт с июля 1942 командовал 5-й (с июня 1942), 3-й (с окт. 1942) и 3-й гвардейской (с мая 1943) танковыми армиями, участвовал во многих боевых операциях, в том числе в наступлении на Харьков в феврале 1943, а также в наступательных операциях в районе Киева, Житомира, Проскурова, Львова, Берлина, Дрездена, Праги.
Звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» Павлу Семёновичу Рыбалко присвоено 17 ноября 1943 года за успешное форсирование Днепра, умелое руководство армией в битве под Курском и Киевской наступательной операцией (Битва за Днепр).
Танковая армия Рыбалко во время Львовско-Сандомирской операции спасла Львов от разрушения.
Второй медали «Золотая Звезда» удостоен 6 апреля 1945 года за боевые отличия войск под его командованием на завершающем этапе войны и проявленный личный героизм.
Иностранных государств: