Прежде чем стать футболистом, Парола пробовал себя, и не без успеха, на велосипедной дорожке. Но любовь к футболу победила и в 15 лет он сделал окончательный выбор. В конце 30-х годов он дебютировал в серии А, играя стоппера, либеро и даже, иногда, опорного полузащитника. С «Ювентусом» Карола завоевал Кубок Италии и два Скудетто, сыграв всего 334 матча, а также 10 раз надевал футболку национальной сборной. В 1954 году он перешёл в «Лацио», в котором сыграл всего 7 матчей, а затем уехал на полтора года в Аргентину. Сыграл Парола и за сборную Европы 10 мая 1946 года в Глазго против сборной Великобритании (Парола был единственным вызванным итальянцем), даже несмотря на сокрушительный разгром команды, игра Паролы впечатлила боссов британских команд и ему поступило несколько предложений, но тот отказал.
Парола получил прозвище Signor Rovesciata, то есть Синьор Через себя, за выполнение удара ножницами, который тогда использовался чрезвычайно редко, а Парола выполнял его безукоризненно, чем очень прославился. Прозвище он получил за исполнение этого удара 15 января 1950 года в матче с «Фиорентиной» от журналиста Коррадо Банки, сделавшего известную фотографию в момент исполнения того удара.
После окончания карьеры футболиста Парола стал тренером, даже получил приз лучшему тренеру Seminatore d’Oro для серии С во время своей работы в «Новаре». В 1975 году Парола выиграл Скудетто с «Ювентусом», заменив Честмира Вычпалека на посту главного тренера. В 1976 году Парола окончательно ушёл из большого футбола, уступив тренерский мостик Джованни Трапаттони. Несколько лет он ещё работал в «Юве» в качестве наблюдателя.
Умер Карло Парола дома, в Турине, на 78 году жизни после продолжительной болезни.