Карлос Гамарра начал карьеру в клубе «Серро Портеньо» в 1991 году, и на следующий год стал чемпионом Парагвая, после чего уехал в Аргентину выступать за клуб «Индепендьенте», но там играл чрезвычайно мало, а потому вернулся в «Серро». Во время игры за который он дебютировал в сборной Парагвая, это случилось 27 марта 1993 года в матче со сборной Боливии, которую парагвайцы проиграли 1:2.
В 1995 году Гамарра перешёл в бразильский клуб «Интернасьонал», где стал одним из лидеров обороны клуба, что отметили и на родине, где в 1997 году Гамарра был признан лучшим игроком страны (это было первое награждение этой премией), а на следующий год вновь был признан футболистом года. В 1998 году Гамарра перешёл в португальский клуб «Бенфика», но, отыграв всего сезон, вернулся в Бразилию, перейдя в клуб «Коринтианс». В 1998 году Гамарра впервые сыграл на чемпионате мира, проведя все 4 матча, а вылетел Парагвай лишь во втором раунде, проиграв будущему чемпиону — сборной Франции, более того, оборонительную игру Гамарры оценили и участники «мундиаля», которые выбрали игрока в сборную всех звёзд чемпионата.
В 1999 году Гамарра уехал в Испанию, в клуб «Атлетико Мадрид». В 2000 году он на несколько месяцев вернулся в Бразилию, где играл за «Фламенго», а затем перешёл в греческий «АЕК», с которым выиграл кубок Греции. В том же 2002 году Гамарра выступал в своём втором чемпионате мира, где вновь провёл все игры, а сборная выбыла во втором раунде турнира.
После чемпионата мира Гамарра перешёл в клуб «Интернационале» из Милана, в своём первом миланском межсезонье Гамарра забил гол, который принёс победу команде в кубке Пирелли над «Ромой», затем Карлос провёл 14 матчей в чемпионате, став с командой серебряным призёром. Затем Гамарра выпал из «обоймы» игроков основного состава клуба, а сезон 2004-2005 просидел на скамье запасных. В июле 2005 года Гамарра перешёл в «Палмейрас». В 2006 году Гамарра участвовал в своём третьем чемпионате мира, в котором отличился тем, что забил первый на турнире автогол, в первом матче команды поразив свои ворота после навеса Дэвида Бекхэма, этот гол принёс победу англичанам, после окончания турнира Гамарра объявил о своём завершении карьеры в сборной. В 2007 году Гамарра перешёл в клуб «Олимпия» (Асунсьон), в котором и завершил карьеру.