Пётр Ефименко родился в семье известных деятелей науки и культуры Александры Яковлевны и Петра Саввича Ефименко.
С 1904 по 1906 год он учился на историческом факультете Харьковского университета. В 1906 году был исключён за революционную деятельность, с 1906 по 1912 год учился на физико-математическом факультете (отдел естествознания, специальность — доисторическая археология) Петербургского университета, по окончании которого был оставлен там в аспирантуре.
Пётр интересовался археологией, историей и этнографией. Принимал участие в Харьковском (1902) и Екатеринославском (1905) археологических съездах. Тогда же написал свои первые научные работы. В 1906 году за подготовку указателя дат из истории, археологии и этнографии Харьковской губернии был удостоен премии имени А. А. Потебни. Осуществил двухгодичное (1913—1915) кругосветное путешествие, посетил научные центры и музеи Западной и Южной Европы, Юго-Западной Африки, Южной Азии, Китая и Японии. В 1915 году избран членом Русских географического, антропологического и археологического обществ. В 1915—1923 годах — научный сотрудник Исторического Музея в Москве.
В 1923 году вернулся в Петроград и с этого года работал в Эрмитаже, Музее антропологии и этнографии, ленинградском отделении Института материальной культуры АН СССР, профессор Ленинградского университета.
В 1934 году Президиум АН СССР присудил ему научную степень доктора археологии. Действительный член Государственной академии Истории материальной культуры в Ленинграде.
С 1945 по 1954 год — директор Института археологии АН УССР. В 1954 году вернулся в Ленинград.
Археологические исследование Пётр Петрович проводил на реках Оскол и Северский Донец под Воронежом (1926—1927), в Средне-Волжской экспедиции (1927—1928), в Татарстане (Ананьевская культура, 1943), возглавлял многолетнюю экспедицию «Великий Киев». Пётр Ефименко создал одну из типологий первобытных обществ.
Он был главным редактором периодических изданий:
Пётр Ефименко автор свыше 80 научных работ. Он был руководителем коллективной работы — «Очерки древней истории Украинской ССР» (К., 1957).