С ранних лет обучался игре на гитаре, скрипке и виолончели, музыкальное образование получил в хоровой школе при монастыре Монсеррат, затем учился в военной академии в Барселоне. Рано проявил композиторские способности: в тринадцать лет сочинил Торжественную мессу для солистов, хора и органа, а в 1796 году написал оперу «Телемах», поставленную в театре Санта Круз. В 1799 году переселился в Мадрид, занимал различные административные должности в Барселоне и Малаге. К этому периоду творчества относятся симфонии, струнные квартеты, различные сочинения для голоса с гитарой и фортепиано, а также произведения для гитары соло.
С вторжением французских войск в Испанию в 1808 году и началом войны за независимость Сор занимает патриотическую позицию и пишет ряд революционных песен, среди которых наибольшую известность получили Vivir en cadenas и Venid, vencedores. Однако в 1810 композитор, как и бо?льшая часть испанской интеллигенции того времени, вынужден уступить и занять административный пост под покровительством французов. В 1813 году французские войска были выбиты из Испании, и Сор уезжает в Париж, где начинает вести активную концертную и педагогическую деятельность. Два года спустя композитор перебрался в Лондон, где вышли в печать одиннадцать сборников его итальянских ариетт для голоса и фортепиано, а также сочинения для фортепиано и гитары. В столице Великобритании в 1821—1823 также были поставлены четыре балета Сора, среди которых наибольшим успехом пользовалась «Золушка». Это произведение ставилось также в Париже (более 100 раз). В 1823 же году Сор поселяется в России вместе со своей женой, балериной Фелисите Юллен, и в 1824 году «Золушка» была поставлена в России, в Москве в Театре на Моховой (в постановке его жены Ф.Гюллень-Сор, танцевавшей главную партию, и московского артиста балета И. К. Лобановым по хореографии Ф. Альбера), а также исполнялась на открытии отстроенного после пожара Большого театра в Москве 6 января 1825 года. Через три года композитор возвращается в Париж, где публикует ряд своих новых сочинений, в том числе «Воспоминания о России», в которых использует русские народные мелодии. Продолжая во Франции свою исполнительскую и педагогическую карьеру, Сор знакомится со своим знаменитым соотечественником Дионисио Агуадо, с которым впоследствии часто выступает в дуэте.
Последние годы жизни Сора были омрачены смертью его жены и дочери (их памяти он посвятил своё последнее оркестровое сочинение — Мессу). Композитор умер в 1839 году от рака и был похоронен на кладбище Монпарнас в безымянной могиле, обнаруженной лишь сто лет спустя.
Творчество Сора сыграло огромную роль в развитии гитарного искусства. Много концертируя по Европе, он снискал себе славу выдающегося виртуоза, наравне с известными гитаристами-современниками (Мауро Джулиани, Маттео Каркасси, Фердинандо Карулли). Как композитор Сор известен прежде всего своими сочинениями для гитары (более 60), вошедшими в репертуар ведущих мировых исполнителей, а также песнями и романсами, отмеченными ярким мелодизмом. Композитор трактует гитару как серьёзный музыкальный инструмент с богатыми полифоническими возможностями. На стиль Сора оказали влияние композиторы венского классицизма, прежде всего Гайдн и Моцарт. Сор также имеет большое значение как педагог — его «Школа игры на гитаре» (M?thode pour la Guitare), опубликованная в 1830 году, пользовалась огромной популярностью. Среди учеников Сора — ряд известных впоследствии гитаристов, в том числе Наполеон Кост, редактировавший и издавший после смерти композитора многие его сочинения.