В юности, будучи студентом школы Королевской Академии, Каро увлекался пластикой Карла Миллеса и даже совершил поездку в Швецию для подробного знакомства с творчеством своего кумира. Другим ориентиром молодого Каро была послевоенная французская пластика — в частности, работы Жана Дюбюффе и Жермен Ришье. В 1950-е гг. Каро был ассистентом Генри Мура. В 1958 г. Каро познакомился в Лондоне с американским арт-критиком Клементом Гринбергом, во многом определившим переоценку английским скульптором ориентиров творчества. В следующем году Каро отправился в Америку, где впервые увидел работы Дэвида Смита. Также, Каро познакомился в США с абстрактным экспрессионистом, живописцем Кеннетом Ноландом, оказавшим на него большое влияние. Для индивидуальной манеры Каро, начиная с 1960-х гг., характерны абстрактные композиции из металла, часто с использованием готовых форм фабричного производства (или их имитаций); во многих случаях эти композиции вписаны в окружающий ландшафт, часто раскрашены. В 1965 году Каро говорил в одном из интервью, что хочет создавать скульптуру из «чего то совершенно анонимного, из хлама».
В конце 1950 х годов Каро начал вести курс скульптуры в лондонской Школе искусств св. Мартина, где проходили обучение Филип Кинг, Уильям Такер, Тим Скотт и другие — впоследствии, в середине 1960 х годов именно они будут названы «новым поколением» английской скульптуры. Среди авторов следующего поколения, в чьем творчестве сказывается влияние Каро, — как абстракционисты (и прежде всего Филип Кинг), так и отталкивавшиеся от его манеры авторы фигуративных работ (в частности, Барри Флэнаган).
В конце 1960 х годов Каро начинает, помимо стальных балок и труб, использовать в своих произведениях формы, имитирующие или напоминающие «найденные объекты». В 1970 е годы он практически перестает раскрашивать стальные компоненты. Начиная с 1980-х гг. в работах Каро появляется элемент фигуративности, он также отдаёт дань жанру инсталляции. В своих инсталляциях последних двадцати лет Каро использует самые различные материалы, даже узнаваемые объекты и фигуративные элементы. Особенный интерес вызывают его масштабные произведения на религиозную тематику, выполненные в конце 1990-х — 2000-е гг. («Страшный суд», 1995—1999; «Капелла Света», 2008).
В конце 1990-х гг. вместе с архитектором Норманом Фостером принял участие в проектировании лондонского пешеходного моста Миллениум. В беседе Каро с Фостером, опубликованной в журнале Tate etc., затрагиваются проблемы родства и взаимосвязи скульптуры и архитектуры. Скульптор высказывает следующую мысль: «Существует сходство между скульптурным мышлением и архитектурой. Однажды я попытался сформулировать, чем является скульптура, и чем она может быть. Она является вещью — вещью вне вас. Затем меня стал волновать вопрос о том, необходимо ли ей быть именно внешним фактором. Не могло бы внутренне пространство [человека] также быть скульптурой? И может ли скульптура вместить вас в себя — то есть стать тем, что я в шутку назвал “Скулптектура”».