Лангганс изучал право, математику и языки в университете Галле (1753—1757). Зодчество изучил, читая труды римского архитектора Витрувия, беря частные уроки и проводя практические занятия в Бреслау, и расширил свои знания, путешествуя по Италии и другим странам в 1759—1775 гг.
Вернувшись на родину, Лангганс стал старшим архитектором при бреславльской камере и выстроил там бывший гацфельденский дворец и несколько других зданий. В 1792 г. был приглашён в Берлин, где ему было поручена внутренняя отделка оперного театра. Затем Лангганс руководил дворцовым строительным управлением. Он получил известность, построив знаменитые Бранденбургские ворота в Берлине, которые стали первым опытом применения древнегреческого стиля в немецкой архитектуре.
Помимо этого, им было закончено возведение Мраморного дворца в Потсдаме, начатое Гонтардом, и выполнено много других заказов в Берлине.
Архитектором стал сын Карла Готтарда Лангганса — Карл Фердинанд.