Карл Коллер родился в городе Хёллес. Когда Карл был маленький, его семья переехала в Блумау-Нойрисхоф, где и прошло детство Коллера.
В возрасте 20 лет Коллер перешёл в клуб «Фёрст», понравившись на просмотре главному тренеру клубе Хоне Верту. Через три года после дебюта в клубе, 15 марта 1952 года Коллер сыграл свой первый матч за сборную Австрии с командой Бельгии. В 1954 году Коллер поехал в составе национальной команды на чемпионат мира, где австрийцы заняли 3-е место. Через год Коллер выиграл свой первый чемпионат Австрии, а через 2 года выиграл серебряные медали национального первенства.
В 1958 году в составе сборной Коллер поехал на свой второй чемпионат мира. Но Австрия попала в «группу смерти» с Англией, Бразилией и СССР, вылетев уже после группового этапа. Всего на чемпионатах мира Коллер провёл 8 матчей и забил гол в ворота Англии. В 1961 году Фёрст с Коллером в составе достиг финала Кубка Австрии и серебряных медалей чемпионата Австрии. Завершил свою карьеру Коллер в 1965 году.
После завершения карьеры игрока, Коллер начал гостиничный бизнес, владея гостиницев в Блумау-Нойрисхоф на 2000 мест. В возрасте 79 лет Карл Коллер скончался после длительной борьбы с болезнью Альцгеймера. 7 февраля он был похоронен на кладбище Блумау-Нойрисхофа.