Родился в Скрэнтоне, штат Пенсильвания, в семье итальянского иммигранта. В 1952 году окончил Принстонский университет, где его соседом по комнате был Дональд Рамсфелд. В 1952—1954 годах служил в ВМС США. В 1954—1956 годах учился в Гарвардской школе бизнеса.
С 1956 года начал работать в Госдепартаменте США. В течение двух лет Карлуччи работал вице-консулом и экономическим советником в Йоханнесбурге (ЮАР), с 1960 года — вторым секретарём в американском посольстве США в Конго по линии ЦРУ. В фильме гаитянского режиссёра Рауля Пека «Лумумба» 2000 года Карлуччи представлен как один из организаторов убийства конголезского политика Патриса Лумумбы, близкого к СССР. Карлуччи отверг обвинения и во время выхода фильма в США на канале HBO обратился в суд с требованием убрать своё имя из фильма.
В 1964 году Карлуччи назначен первым секретарём посольства США в Дар-эс-Саламе. В том же году бывший восточноафриканский мандат Танганьика и Султанат Занзибар объединились в государство Танзания, её президент Юлиус Ньерере объявил о выборе социалистического варианта развития. Спустя 18 месяцев в стране состоялся военный переворот, в котором был обвинён Карлуччи. После объявления его персоной нон-грата был выслан из Танзании. В 1964 году президент Бразилии Жуан Гуларт, которого США рассматривали как нежелательного политика, был свергнут в ходе военного переворота. Кастелу Бранку установил диктаторский режим, начав подавление оппозиции. Карлуччи был направлен в Бразилию, где военным атташе США был Вернон Уолтерс.
С 1969 Карлуччи занимал различные государственные должности в Белом доме. После того, как Дональд Рамсфелд возглавил Комитет экономических возможностей, его заместителем стал Карлуччи (1969—1970). В 1970—1972 он работал заместителем директора Бюро управления персоналом и бюджетом, в 1973—1975 годах — в Министерстве образования и здравоохранения.
В 1974 году после падения диктатуры в Португалии в результате «революции гвоздик» к власти приходят военные левого направления. В связи с тем, что Португалия входила в НАТО Генри Киссинджер и Вернон Уолтерс, ставший заместителем директора ЦРУ, проявили озабоченность возможным усилением коммунистического влияния. Новым послом в Португалии был назначен Карлуччи. В 1975 году после вооружённого выступления группы военных против новой власти в этом было обвинено ЦРУ. Один из лидеров революции, генерал Отелу ди Карвалью выступил на радио, призвав Карлуччи покинуть страну. Однако официальный Вашингтон отрицал все обвинения. Карлуччи оставался послом до 1977 года.
В 1978 году назначен Джимми Картером заместителем директора ЦРУ, которым руководил Стэнфилд Тернер. В 1981—1983 годах занимал пост заместителя министра обороны США, где под его началом работал Колин Пауэлл. С 1986—1987 годах — советник по национальной безопасности. В 1987 года назначен Рейганом министром обороны США, занимал пост до 1989 года.
Помимо политической деятельности Карлуччи также занимался бизнесом. В 1992—2003 годах возглавлял правление крупного инвестиционного фонда Carlyle Group, который имеет интересы в сфере вооружений и СМИ. Карлуччи также работал в компаниях General Dynamics, Westinghouse, Ashland Oil, Neurogen, CB Commercial Real Estate, Nortel, BDM International, Quaker Oats, Kaman.
Карлуччи является членом совета попечителей корпорации RAND, членом совета организации «Национальный фонд в поддержку демократии», почётным председателем Американо-тайваньского совета по бизнесу.
В марте 2001 года чеченский сепаратист Ильяс Ахмадов, обвиняемый российскими правоохранительными органами в терроризме, заявил, что провёл встречу с Карлуччи, бывшим директором ЦРУ Джеймсом Вулси и рядом представителей конгресса США. МИД России выразил протест, заявив, что контакты являются «еще одним откровенно недружественным актом в отношении России и наводят на размышления относительно истинных причин поведения американской стороны».