После окончания берлинской реальной гимназии поступил в Гёттингенский университет, где изучал математику и философию. Большое впечатление на него произвели встречи с Гильбертом и его программа доказательства непротиворечивости классической математики. После недолгого пребывания в Гейдельберге Гемпель возратился в Берлин для изучения математики, философии и физики. В 1929 он принял участие в съезде позитивистов, на котором познакомился с Карнапом. Вслед за этим учёным он уехал в Австрию и вступил в Венский кружок. В 1934 г. Гемпель защитил в Берлине докторскую диссертацию по теории вероятности.
В том же году философ, опасаясь нацистов, уезжает в Бельгию, а в 1937 получает приглашение из Чикагского университета. В 1939 г. Гемпель вместе с женой Евой навсегда покидает Европу. Он преподавал в Сити Колледже, Йельском, Принстонском, Еврейском и Питтсбургском университетах. Одним из наиболее выдающихся его учеников был Т. С. Кун.
Гемпель был президентом Восточного отделения Американской философской ассоциации, членом Американской академии искусств и наук, почётным доктором Констанцского университета. В родном городе в честь него названа улица.
Наиболее важные идеи Гемпеля: