Сын священника, он учился в Смоленской семинарии, откуда в 1803 был переведён в Санкт-Петербургскую учительскую гимназию, вскоре переименованную в педагогический институт. После его окончания Карцов, посвятивший себя математике, вместе с А. И. Галичем был отправлен для усовершенствования за границу. Он объехал Германию и Францию, слушал лекции в германских университетах и после возвращения, в 1811 был назначен в Царскосельский лицей. В 1816 утвержден в звании профессора. Ему лицей обязан организацией первого физического кабинета. К концу жизни, состоя членом Минералогического общества, Карцов преподавал математику и физику принцу П. Г. Ольденбургскому. Ему принадлежит в свое время пользовавшийся известностью перевод «Начальных оснований физики» Шредера.