Кларсфельд родился в семье румынских евреев. Его родители, Раиса и Арно, познакомились в Париже в 1929 году. После вторжения немцев им удалось бежать в неокупированную часть Франции. В Ницце Серж чудом избежал смерти при одной из облав под командованием Алоиса Бруннера. Он и его мать спрятались в стене, а отец остался в квартире, чтобы привлечь внимание нацистов на себя. Отец Сержа был арестован, депортирован и впоследствии убит в концентрационном лагере в Освенциме.
После войны Серж Кларсфельд поступил в Сорбонну, где изучал историю. После этого Кларсфельд изучал политику и обрёл учёную степень доктора наук. В 1963 году женился на Беате Кюнцель, а 27 августа 1965 у Кларсфельдов родился сын Арно-Давид (Arno Klarsfeld), ставший впоследствии известным адвокатом и советником французского президента Николя Саркози. В 1973 году в семье рождается дочь Лида-Мириам.
В 1979 году Серж и его жена Беата основали «Ассоциацию сыновей и дочерей депортированных евреев Франции» (фр. «Association des fils et filles des d?port?s juifs de France»). Вместе им удалось представить суду таких преступников как Клаус Барби, Ren? Bousquet, Jean Leguay, Морис Папон, Paul Touvier, Kurt Lischka, Ernst Heinrichsohn и Herbert M. Hagen, а также найти Алоиса Бруннера.
В художественном фильме La Traque (Франция, 2008 год, режиссёр Лорен Жауи), показывающем поиски Клауса Барби, роль Сержа Кларсфельда играет Иван Атталь (Yvan Attal).