Сварт родился 5 декабря 1894 на ферме около Винбурга, в то время входившем в Оранжевое Свободное государство, третий из шести детей. Роители — Херманус Бернардус Сварт (1866—1949) и Алетта Катарина Роббертс (1870—1929). Когда ему было пять лет, началась англо-бурская война, во время которой он с матерью и братьями был интернирован в концентрационном лагере в Винбурге, один из его братьев умер в лагере. Отец, воевавший в бурской армии, был ранен и взят в плен англичанами в сражении при Пардеберге, после чего оставался в плену до окончания войны.
В возрасте семи лет Чарльз Роббертс Сварт пошёл в правительственную школу в Винбурге, в 13 лет сдал выпускные экзамены. В 1910 году поступил в Университетский колледж Грей в Блумфонтейне, в 1912 году получил там диплом бакалавра. В 1914 и 1915 году работал в Фиксбурге преподавателем. В 1914 году оказался на территории, охваченной восстанием Марица, был дважды арестован по подозрению в шпионаже и в желании примкнуть к восставшим, но был отпущен и помещён под домашний арест с разрешением преподавать. С 1915 по 1918 год продолжал обучение праву, при этом в 1918 году одновременно начал работу как секретарь экзаменационной комиссии провинции Оранжевая, а позже секретарём мэрии Блумфонтейна. С 1919 по 1948 год он был адвокатом в Блумфонтейне и одновременно преподавал право в Университетском колледже Грей и земельное право в Сельскохозяйственном колледже Глен.
В 1921 и 1922 году он изучал журналистику в Колумбийском университете в США. В период пребывания в США Сварт очень нуждался в деньгах, из-за чего вынужден был экономить на всём и искать всевозможные заработки, среди прочего, снялся в немом фильме. В 1921 году на Всемирном конгрессе по разоружению в Вашингтоне он представлял южноафриканскую газету Die Burger.
Чарльз Роббертс Сварт был убеждённым республиканцем и членом Национальной партии с 1914 года. В 1919 году он стал генеральным секретарём партии в Оранжевой провинции, в 1920 году баллотировался от партии на провинциальных выборах. В 1923 году он выиграл провинциальные выборы и получил место от округа Ледибранд, которое сохранял в последующие 15 лет, проиграв выборы лишь в 1938 году. В политике он придерживался крайне консервативных взглядов.
В 1934 году произошло объединение Национальной партии и Южно-Африканской партии, которую возглявлял Ян Смэтс, и в 1935 году Сварт был избран в Федеральный совет объединённой Национальной партии. В 1939 году, после раскола объединённой партии, Сварт участвовал в переговорах о нейтралитете Южно-Африканского Союза во Второй мировой войне, а также о создании объединённой Национальной партии. Когда партия пришла к власти в 1948 году, Сварт занял пост министра юстиции. В этом качестве он несёт существенную долю ответственности за принятие законов, использовавшихся для подавления борьбы с апартеидом.
В 1959 году Чарльз Сварт был назначен генерал-губернатором Южно-Африканского Союза. Он отказался на церемонии введения в должность принести присягу королеве Елизавете, а также носить церемониальную униформу. В тот же год среди белого меньшинства Южной Африки был проведён референдум, в результате которого было принято решение о прекращении существования британского доминиона Южно-Африканский Союз и об установлении республики. В 1961 году была принята конституция новой Южно-Африканской Республики, и Сварт направил королеве просьбу об упразднении должности генерал-губернатора. Вместо неё был введён пост президента республики, и парламент избрал Чарльза Роббертса Сварта первым её президентом. Хотя президент избирался на семилетний срок, Сварт пробыл в должности только шесть лет и в 1967 году ушёл в отставку. Он умер в 1982 году.