Клубная карьера Прохазки началась в футбольном клубе «Аустрия» (Вена), с которым он к 1980 году 4 раза выиграл чемпионат страны и 3 раза завладел национальным кубком. В обозначенном году он перешёл в миланский «Интер», с которым завоевал кубок Италии. В 1982 Прохазка перешёл в столичную «Рому», с которой стал чемпионом Италии. В следующем году Херберт вернулся в «Аустрию», где и завершил карьеру.
Прохазка также удачно выступал за сборную Австрии, в составе которой принял участие на двух чемпионатах мира: 1978 и 1982. В обоих случаях Австрия пробивалась во второй групповой раунд.
В 1989 году Прохазка закончил свою игровую карьеру, а уже через год он стал главным тренером «Аустрии», с которой он к 1992-ому году выиграл 2 чемпионата и 2 кубка страны. Затем Херберт работал со сборной Австрией, которую он смог вывести на чемпионат мира 1998, на котором, однако, команда не добилась успехов. В 1999 году австрийцы позорно проиграли испанцам с разгромным счётом 9-0, после чёго тренер был уволен с поста рулевого национальной команды. В 1999-ом Прохазка вновь возглавил «Аустрию», но через год был снят с этой должности.