Шерман родился в Монтевидео, Уругвай. Его отец был из Западной Белоруссии, а мать была индианкой. Он вырос в Аргентине, изучал филологию в Национальном институте имени М.Морена в Буэнос-Айресе с 1951 по 1956 годы и там же начал свою карьеру писателя. Он дружил с поэтом Пабло Неруда. Работал в издательстве «Лосада» (1954—1956), в 1955 году он становится главным редактором газеты «Mi Pueblo».
В 1956 под воздействием советской пропаганды его отец решил вернуться в Белоруссию (тогда Белорусская ССР) всей семьей. Там Шерман сначала работал на токарем на спичечной фабрике, старшим продавцом книжного магазина в Пинске Брестской области (1956—1962), внештатным переводчиком, а затем в качестве переводчика и библиотекаря (с 1964 библиограф, с 1977 года заведующий редакционно-издательским сектором Фундаментальной библиотеки имени Якуба Коласа Национальной академии наук Белоруссии). С 1980 посвятил себя литературной деятельности. В конце 1980-х Шерман начал кампанию по учреждению Белорусского центра международной писательской правозащитной организации ПЕН и после её создания был в ней вице-президентом до 2002 или 2003, когда он был вынужден уйти в отставку из-за ухудшения состояния здоровья.
Он умер в больнице Норвегии на 71 году жизни. Отпевание и прощание с ним состоялось 10 марта 2005 года в католическом соборе норвежского городка Кристиансанн, где семья жила последние годы. После этого тело было кремировано, и прах Карлоса Шермана перевезен в Белоруссию.
В Аргентине Шерман публиковался с 1952 года, в русской периодике Белоруссии — с 1964, на белорусском языке — с 1975. С испанского на русский перевел роман М. Сапата Оливельи «Черный загон» (журнал «Неман», 1967), роман Г.Гарсиа Маркеса «Осень патриарха» (вместе с В.Тарасом, Москва, 1978), на белорусский — произведения разных авторов, в том числе Николаса Гильена, Габриэля Гарсиа Маркеса, Феликса Пита Родригеса, Армандо Техадо Гомеса, Габриэлы Мистраль, антология современной кубинской поэзии.
В его переводе с белорусского на испанский вышли книги стихов и прозы более 10 авторов, в том числе:
Произведения Карлоса Шермана:
Он был членом Союза белорусских писателей (с 1979) и членом Международной ассоциации литературных критиков.