Родился в городе Александрия Херсонской губернии в крестьянской семье. В 1920 году вступил в Красную Армию. Участник Гражданской войны, красноармеец. В 1927 году окончил кавалерийскую школу и служил на командных и штабных постах. Окончив в 1939 году академию им. Фрунзе, перед Великой Отечественной войной занимал должность начальника штаба дивизии в звании полковника.
В Великой Отечественной войне Кошевой (до сентября 1943 года командир стрелковой дивизии, а затем стрелкового корпуса) проявил себя как инициативный и волевой командующий. Выполнил ряд выдающихся боевых операций, отличился, в частности, при штурме Сапун-горы под Севастополем и взятии Кёнигсберга (за эти сражения получил звания Героя Советского Союза). Окончил войну в звании генерал-лейтенанта. На параде Победы командовал сводным полком Третьего Белорусского фронта.
После войны Кошевой занимал ряд важных командных постов и высоко котировался как командующий и военный администратор (по свидетельству его внука, писателя П. Г. Паламарчука, «его соратник маршал Баграмян называл его в ту пору военным номер один»), хотя не гнался за карьерой и за должностями в Министерстве обороны и гордился тем, что никогда не служил в Москве. Был командующим армией (1946—1955), первым заместителем Главнокомандующего Группой советских войск в Германии (1955—1957), командующим войсками Сибирского военного округа (1957—1960), Киевского военного округа (1960—1965).
Наивысшая должность, которую занимал Кошевой — Главнокомандующий Группой советских войск в Германии (1965—1969). За это время многое сделал для укрепления боеспособности Группы, которая «должна была быть готова за три дня дойти до Гибралтара». 15 апреля 1968 года генералу армии Кошевому было присвоено (вместе с П. Ф. Батицким) звание Маршала Советского Союза.
Как начальник Группы советских войск в Германии Кошевой принимал участие в организации и вступлении 20 августа 1968 года в Чехословакию частей 20-й Гвардейской армии из состава Группы, которые в соответствие с планами Операции «Дунай» установили контроль над основными объектами столицы Чехословакии города Праги.
Однако уже в октябре 1969 года Кошевой был смещен с поста Главнокомандующего и заменён на В. Г. Куликова. С этого времени до конца жизни он занимал традиционную для ушедших в фактическую отставку Маршалов почётную должность «генерального инспектора Группы генеральных инспекторов Министерства обороны СССР».
П. К. Кошевой был первым из умерших на свободе и в звании Маршалов Советского Союза, похороненных не у Кремлёвской стены, а на Новодевичьем кладбище в Москве.
Приказом МО СССР от 9 апреля 1977 года имя Петра Кирилловича присваивается Омскому высшему танковому инженерному ордена Красной Звезды училищу. Мемориальная доска в память П.К. Кошевого установлена в Новосибирске на здании, где располагался штаб Сибирского военного округа.