Брат генерала от инфантерии Александра Петровича Карцова, родился 24 июня 1821 года, происходил из дворян Новгородской губернии.
Образование получил в Новгородском графа Аракчеева кадетском корпусе и Дворянском полку, из которого 2 августа 1842 года был выпущен прапорщиком в лейб-гвардии Семёновский полк. В 1849 году Карцов участвовал в походе гвардии в Венгрию против мятежников.
В 1856 году произведён в полковники, в 1857 году назначен командиром 3-го стрелкового батальона, в 1858 году — командиром учебного стрелкового батальона, в 1861 году — командиром Санкт-Петербургского гренадерского полка.
Произведённый 30 августа 1862 года в генерал-майоры, в следующем году Карцов принял участие в подавлении восстания в Польше. За отличия против поляков был награждён орденами св. Владимира 3-й степени (в 1863 году) и св. Станислава 1-й степени (в 1864 году).
30 августа 1870 года произведён в генерал-лейтенанты с назначением начальником 7-й пехотной дивизии, в 1876 году назначен начальником 3-й пехотной дивизии.
В войне с Турцией в 1877—1878 годах Карцов, кроме командования Ловче-Сельвинским отрядом и удачных действий под Плевной (занятие селений Тораса, Турского Избора и Горного Тетевена), совершил с отдельной колонной трудный зимний переход через Траянов перевал за Балканы, заняв с бою ряд городов (Сапаш, Карлово и другие), и в 1878 году за отличие был награждён орденом Белого Орла с мечами.
По окончании войны Карцов был прикомандирован к Главному штабу и в конце 1885 года, вследствие своего преклонного возраста, был зачислен по запасным войскам. 18 апреля 1892 года Карцов был окончательно уволен со службы с производством в генералы от инфантерии.
Среди прочих наград Карцов имел ордена св. Анны 1-й степени (в 1867 году, императорская корона к этому ордену пожалована в 1869 году) и св. Владимира 2-й степени (в 1874 году).
Умер 22 апреля 1892 года в Санкт-Петербурге, похоронен на Митрофаньевском кладбище.
Перу Карцова принадлежат следующие труды:
Кроме того, в журналах «Русская старина», «Военный сборник» и других, а также в газетах, им было напечатана масса статей военно-исторического и мемуарного характера.