Родился 15(28) января 1906 года в селе Кулебаки Нижегородской губернии.
Член КПСС с 1925 года.
С 1927 года секретарь райкома, укома и окружкома комсомола, секретарь райкома партии.
В рядах Советской Армии с 1932 года.
В 1938 году окончил Военно-политическую академию.
С 1938 года начальник отдела организационно-партийной работы, за тем заместитель начальника политуправления Белорусского военного округа.
Во время Советско-финской войны 1939—1940 годах — начальник политотдела 15-й отдельной армии.
В 1940 года назначен начальником политуправления Архангельского, затем Среднеазиатского военных округов.
В Великую Отечественную войну с марта 1942 года — член Военсовета Закавказского фронта, участвовал в организации обороны Кавказа и проведении операции по разгрому немецко-фашистских войск на юго-западном направлении. Возглавляя партийно-политическую работу фронта. Павел Иванович Ефимов внёс большой вклад в укрепление политико-морального состояния войск, дисциплины, обеспечение примерности коммунистов и комсомольцев.
В 1945 году и 1949—53 годах — член Военсовета Закавказского военного округа, а с декабря 1953 — Группы советских войск в Германии.
В 1949 году окончил военную академию Генштаба. Службу в армии начал военным комиссаром отдельного батальона связи.
В мае 1958 года назначен первым зам.начальника Главного политического управления Советской Армии и ВМФ.
С 1974 года военный консультант Группы генеральных инспекторов Министерства Обороны СССР.
Депутат Верховного Совета СССР 4—9-го созывов.