С раннего детства учился играть на фортепиано, затем на гитаре, и к двадцати годам уже заслужил репутацию хорошего исполнителя. В 1820 году поселился в Париже, где занимался концертной и педагогической деятельностью. Его исполнение, отмеченное блестящей виртуозностью и элегантностью, пользовалось большой популярностью среди французской публики. Каркасси часто исполнял собственные сочинения, в основном это были фантазии и вариации на темы опер Обера, Герольда и Россини. Гитарист успешно концертировал в Лондоне, а также в различных городах Германии.
Каркасси — один из представителей (наряду с Фердинандо Карулли и Мауро Джулиани) классической итальянской гитарной школы. Многочисленные его сочинения (сонаты, рондо, каприччио, вальсы и др.) входят в репертуар современных исполнителей. Большое значение имеют его учебно-педагогические работы, в том числе этюды (ор. 26 и ор. 60) и трёхчастная «Школа игры на гитаре» (фр. M?thode compl?te pour la guitare), выпущенная в печать в Париже в 1836 году и ставшая одним из наиболее популярных пособий при обучении на этом инструменте. Более сотни сочинений композитора остаются неизданными.