Карл Раппан родился в Вене 26 сентября 1905 года.
Раппан начал игровую карьеру в молодёжном клубе «Донау» из родной Вены, где играл попеременно крайним нападающим, центрфорвардом и полузащитником. В 1924 году талантливого юношу заметил клуб «Ваккер» и пригласил к себе. Там он играл обычно на краю нападения, а затем был переведён в полузащиту. Во время игры в «Ваккере» его заметило руководство национальной сборной, за которую он провёл два матча. В 1929 году Раппан перешёл в венскую «Аустрию», но там играл нечасто. Затем был переход в «Рапид», где Карл играл и того реже, всего 6 матчей из 22-х сыгранных командой.
Раппан закончил Школу торговли и серьёзно решал, выбрать ли футбол или гражданскую профессию.
В 1931 году Раппану приходит предложение из швейцарского «Серветта», которое он принял. Первоначально использовать Раппана намеревались на правом краю нападения, но постепенно идеи Раппана нашли понимание у президента клуба — Эдуарда Фуллике, так Раппан стал играющим тренером. Он переместился в защиту и стал с места центрального защитника руководить партнёрами.
Революционные идеи Раппана сделали результат, с «Серветтом» он дважды становился чемпионом Швейцарии в 1933 и 1934, при том оба чемпионства были завоёваны в разных форматах турнира — в региональных турнирах с победителями групп и в общепринятом турнире национальной лиги. Притом в обоих чемпионатах «Серветт» пропускал меньше всех, а забивал больше всех.
В 1935 году тренера пригласил «Грасхопперс», который искал замену знаменитому венгру Дори Кюршнеру. С «Грассхопперсом» Раппан выиграл 5 чемпионатов Швейцарии и 7 кубков Швейцарии, в трёх сезонах сделав дубль. В 1948 году Раппан вернулся в «Серветт», с которым выиграл чемпионат и Кубок. После «Серветта» Раппан год тренировал «Цюрих». Затем, помимо сборной, тренировал «Лозанну», с которой выиграл чемпионат 1965 года. В 1970—1971 гг. Раппан работал техническим директором «Рапида».
В 1937 году Раппана пригласили тренировать сборную команду Швейцарии. В первой игре при Раппане Швейцария встречалась с Австрией и проиграла 3:4. Ставку в сборной Раппан делал на игроков знакомого ему «Грассхопперса». На чемпионате мира во Франции 1938 команда Раппана сенсационно обыграла немцев 4:2, проигрывая по ходу матча 0:2. Затем Раппан тренировал сборную с 1942 по 1949.
В 1953 году Раппана снова позвали управлять главной швейцарской командой. Чемпионат мира 1954 года проходил в Швейцарии, на нём Швейцария дошла до четвертьфинала, где в 35-градусную жару проиграла австрийцам 5:7.
В последний раз Раппан тренировал команду с 1960 по 1963. На чемпионате мира 1962 команда провалилась, а в 1963 тренер ушёл.
Всего Раппан руководил командой в 77 матчах, из которых 29 выиграл и 36 проиграл. В финальных турнирах чемпионата мира команда Раппана одержала 3 победы, проиграла 6 раз и один матч свела вничью.
Это переход от традиционной для того времени 2-3-5 на схему 4-3-3 с обязательными стоппером и чистильщиком. Крайние полузащитники становились крайними защитниками, тесня крайних форвардов и полузащитников к бровке, центр поля отдавался под контроль противнику, а полузащита отходила близко к штрафной, таким образом создавался заслон (при быстрой атаке — полузащита становилась первой линией защиты, пятясь до определённого момента, а затем встречая атакующих), нападающие действовали против полузащиты противника, даже была придумана позиция оттянутого нападающего. Все игроки действовали по зонам.