К. Шерцер происходил из богатой венской семьи, получил великолепное образование. Изучал юриспруденцию, затем занимался типографским делом, открыл типографскую мастерскую. Свои первые путешествия — в Южный Тироль, Италию, Германию, Францию и Англию — совершил ещё в студенческие годы (1838—1842). В 1848 году он основывает Союз Гутенберга («Gutenberg-Verein»), защищавший интересы типографских рабочих. Был членом Либеральной партии и другом ряда руководителей революции 1848 года, за что был арестован и в 1851 предстал перед военным трибуналом.
В 1852—1855 годах К.Шерцер, совместно с немецким путешественником Морицом Вагнером, совершает большое путешествие по Северной, Центральной и Южной Америке. После возвращения на родину, в 1855 году, с собранной большой научной коллекцией, Шерцер был вновь притянут к трибуналу по обвинению в «недозволенном отсутствии» и приговорён к 6 неделям тюрьмы (ограничишимися 8 днями ареста). В 1857—1859 годах Шерцер находился на службе у австрийского министерства финансов. По просьбе эрцгерцога Максимилиана, К.Шерцер участвует в кругосветной, первой и единственной в истории, морской экспедиции австрийского флота (Экспедиция Новара) в качестве её секретаря и хрониста, а также торгового агента. После возвращения из этого плавания Шерцеру присваивается рыцарское звание, и в 1866 году он становится государственным советником министерства торговли. В 1869 году К.фон Шерцер участвует в австро-венгерской экспедиции в Восточную Азию (посетила Китай, Японию и Сиам).
В период с 1872 по 1878 годы он был генеральным консулом Австро-Венгрии в Смирне (ныне Измир).
В 1878 году — посол Австро-Венгрии в Лондоне, в 1878—1884 годах — в Лейпциге, в 1884—1896 годах — генеральный консул в Генуе. С 1896 года — на пенсии.
Знаток Мексики, К.Шерцер предупреждал своего покровителя эрцгерцога Фердинанда Максимилиана о большой опасности проведения мексиканской экспедиции. Записки путешественника К.Шерцера высоко ценились такими исследователями дальних стран, как Александр фон Гумбольдт и Юстус фон Либиг.