Сын столяра, начал профессиональную карьеру журналиста и редактора в Бреслау (ныне Вроцлав, Польша), в газете «Фольксвахт» в 1899 г. Депутат городского собрания Бреслау в 1904—1919 годах, после чего был избран в Веймарское национальное собрание. С 1920 года он в рейхстаге, где сразу получил пост его председателя, которым сохраняет до 1932 года. Всё это время — более чем четыре срока деятельности парламента — он посвящает себя урегулированию конфликтов и разногласий между различными партийными фракциями германского парламента.
Предложение принять должность рейхспрезидента в качестве преемника Фридриха Эберта Пауль Лёбе отклоняет, считая, что он нужен в парламенте.
В годы национал-социализма Лёбе работает корректором. Был дважды арестован нацистскими властями — сразу в 1933 году и после провала заговора 20 июля 1944 года, подпав под подозрения из-за связей с участниками антигитлеровского выступления. В 1945 году он возвращается в Социал-демократическую партию Германии, работает редактором. С 1946 года — издатель берлинской ежедневной газеты «Телеграф». До 1953 г. представляет Западный Берлин в бундестаге.