Коэн-Таннуджи происходит из еврейской семьи, проживавшей в Алжире с XVI века (с 1870 г. — подданные Франции). С 1953 по 1957 гг. изучал в Высшей нормальной школе сперва математику, затем физику, после того, как посетил лекции нобелевского лауреата Альфреда Кастлера. В 1957 г. он получил диплом, после чего прослужил в армии 28 месяцев (несколько больший срок, чем обычно, по причине войны в Алжире). С 1960 г. работал в государственном научном исследовательском центре Centre National de la Recherche Scientifique (CNRS). После 1962 г. преподавал на факультете естественных наук в университете Парижа и впоследствии в университете Пьера и Мари Кюри, наследнике факультета естественных наук. В 1973 г. стал профессором Коллеж де Франс и членом правления Колледжа ядерной и молекулярной физики.
Двухтомная монография «M?chanique Quantique», вышедшая в 1977 г. и написанная Коэном-Таннуджи совместно с Бернаром Дью и Франком Лалоэ, и сегодня является образцовым учебником по квантовой механике.
Совместно с американцами Стивеном Чу и Уильямом Филлипсом Коэн-Таннуджи разработал метод охлаждения атомов при распространении пучка атомов вдоль переменного магнитного поля. При этом атомный пучок тормозится, и атомы улавливаются в ловушку. Этот метод применяется при конструировании прецизионных атомных часов, также его применяют при точном позиционировании и в космической навигации.
В 1996 году был награждён премией Харви в Хайфе (Израиль).