Карулли родился в богатой семье, в детстве обучался игре на виолончели у местного священника, однако в возрасте шестнадцати лет заинтересовался гитарой и начал самостоятельно её осваивать. Разработав собственный стиль исполнения, Карулли через некоторое время достиг значительных успехов и начал давать концерты в Неаполе, вскоре заслужив славу лучшего гитариста Италии. В 1801 году музыкант женится на француженке и уезжает в Париж, где продолжает активную концертную и композиторскую деятельность. Музыкальные критики писали, что Карулли был первым музыкантом, открывшим для парижской публики возможности гитары как серьёзного концертного инструмента. В 1800-х — 1810-х годах Карулли много сочинял (в основном, для гитары), его произведения пользовались большой популярностью и были изданы в Аугсбурге, Вене, Гамбурге, Милане и других городах.
В 1811 году композитор заканчивает «Полную школу игры на гитаре» — первое в истории крупное учебное пособие такого рода. «Школа» была переиздана во Франции и за рубежом и быстро стала весьма популярной (она до сих пор используется многими гитаристами как начальное учебное пособие). В качестве исполнителя у Карулли практически не было конкурентов, кроме Маттео Каркасси, который, хотя и пользовался одобрением публики, но не имел такой популярности. Гегемония Карулли продолжалась до середины 1820-х годов, когда большую популярность стал завоёвывать Фернандо Сор. В 1826 году Карулли с помощью парижского музыкального мастера Рене Лакота сконструировал и запатентовал необычный инструмент — десятиструнную гитару (названную им «декахордом»), для которой также написал учебное пособие.
Карулли — один из первых в истории сольных исполнителей на классической гитаре, его игра отличалась чистотой, красивым звучанием и виртуозностью. Он также имеет большое значение как композитор: его сочинения (более 400), написанные в стиле раннего итальянского романтизма, жизнерадостном, изящном и грациозном, входят в репертуар многих мировых исполнителей. В них композитор использует приёмы, заимствованные из практики современных ему скрипачей и пианистов — быстрые арпеджио, восходящие и нисходящие пассажи и др. Многие произведения Карулли имеют программу, то есть заявленное заранее содержание пасторального, мифологического, политического и др. характера: Соната «Великий Наполеон», «Взятие Алжира» и т. п. Перу композитора принадлежат многочисленные камерные ансамбли с гитарой — дуэты, трио, квартеты, песни и романсы для голоса и гитары. Помимо «Школы игры на гитаре» Карулли также написал ряд этюдов и учебных пьес, а также уникальное в своём роде руководство «Гармония применительно к гитаре», предназначенное для обучения правильному переложению музыки на гитару.