Начинал свой путь в детской команде «Штрюмпфельбрун» из родного города. В восемнадцать лет перня присмотрели в Мангейме и он подписал контракт с клубом «Вальдхоф», игравшем во второй Бундеслиге. Дебютировал в профессиональном футболе 9 августа 1975 года в матче против «Майнца», закончившегося поражением 0:2. Всего за клуб он провёл 144 игры и зыбил 16 мячей, что очень неплохо для защитника.
В 1979 году он перешёл в «Дуйсбург», где сыграл всего два сезона. Уже в 1981 году он стал футболистом «Кёльна», с которым впоследствии он занимал высокие места в чемпионате Германии, выигрывал кубок Германии и доходил до финала Кубка УЕФА. Всего за «Кёльн» Пауль провёл 291 игру и забил 20 мячей.
За всю историю немецкой сборной, Пауль является одним из самых старших её дебютантов. Первый и единственный раз на поле в футболке сборной он появился 30 мая 1990 года перед чемпионатом мира. В то матче сборная принимала команду Дании, матч закончился победой 1:0, Пауль заменил в перерыве Клауса Аугенталера, сменщиком которого он поехал на мировое первенство и завоевал с командой золотые медали.