Пфафф выступал семь раз на позиции оттянутого форварда (с 1953 по 1956 год) в составе национальной сборной ФРГ, забив два гола.
Самым ярким моментом в его карьере стала победа на чемпионате мира 1954 года в Швейцарии. Пфафф вышел на поле в предварительном раунде против Венгрии (3-8) и забил гол на 26-ой минуте.
Клубом всей его жизни стал «Айнтрахт», с которым он выиграл чемпионат ФРГ 1959 года. В 1960 году Пфафф помог родной команде дойти до финала Кубка европейских чемпионов, где немцы уступили мадридскому «Реалу». Левоногий «Дон Альфредо» был капитаном команды.
Пфафф был нападающим с исключительно точным ударом и хорошим контролем мяча. Вероятно, Пфафф сумел сыграть бы большее число матчей за национальную сборную, если бы за место в основе не пришлось бы бороться с самим Фрицем Вальтером, «легендой Берна» и лучшим футболистом Германии XX века, который выступал на той же позиции, что и Пфафф.
В 1954 году «Атлетико Мадрид» предложил Пфаффу 180 тыс. немецких марок за переход в их стан, но его жена Эдит была против переезда в Испанию.
Одной из лучших игр Пфаффа стала победа со счётом 6:1 в игре против «Рейнджерс» в первом полуфинальном матче Кубка чемпионов 1959-60. В ответном матче «Айнтрахт» в Глазго выиграл 6:3.
Пфафф закончил карьеру футболиста в 1962 году в возрасте 36 лет.
Помимо спортивной карьеры, Пфафф был владельцем гостиницы в Оденвальде и бара во Франкфурте..