Родился в семье крепостных крестьян в д. Карнаухово Шацкого уезда (ныне Шацкий район Рязанской области). Помещик решил воспитать из Костычева приказчика и отдал его в Шацкое уездное училище, которое тот закончил в 1860 году. После окончания Московской земледельческой школы (1864) уехал продолжать обучение в земледельческом институте Петербурга и окончил его в 1869 году.
Вместо службы у бывшего помещика Костычев решил заняться научной деятельностью. В 1875 году он приступил к экспериментальной проверке теории Л. Грандо, попытавшегося вновь поставить вопрос о гумусовом питании растений, и вскоре её опроверг. С 1876 года преподавал в СПбГУ, стал профессором.
В 1877 году подключился к деятельности Вольного экономического общества по химическому изучению чернозёмов, организовал в 1878 году первую в России агрохимическую лабораторию. В 1881 году защитил магистерскую диссертацию «Нерастворимые фосфорнокислые соединения почв». На следующий год был командирован в Германию и Францию для изучения прививок от сибирской язвы, работал в лаборатории Луи Пастера, что побудило его заняться почвенной микробиологией.
Выступал оппонентом В. В. Докучаева. Свои взгляды на почвообразование изложил в книге «Почвы чернозёмной области России, их происхождение, состав и свойства» (1886). По Костычеву, чернозём есть производная от распространения и физиологии высших растений, роль остальных факторов, предложенных Докучаевым, особенно климата, он принижал. Важной заслугой Костычева явилось открытие роли почвенных микроорганизмов в разложении растительных остатков и формировании гумуса.
С 1885 года Костычев работал в Министерстве земледелия и государственных имуществ, а в 1894 году стал директором департамента земледелия.
Похоронен в Петербурге на Никольском кладбище Александро-Невской лавры.
Имя Павла Андреевича Костычева носит агротехнологический университет в Рязани, который находится на улице, также названной в честь учёного.