Сын отставного генерала от инфантерии Дмитрия Тихоновича Паренсова, родился 5 июля 1843 года.
Образование получил в Пажеском корпусе, из которого выпущен 16 июля 1860 года прапорщиком в лейб-гвардии Гатчинский (впоследствии лейб-гвардии Егерский) полк и тотчас же поступил в Николаевскую инженерную академию, но в январе 1861 года, вследствие произошедших в академии беспорядков, в числе других 116 офицеров младшего класса был отчислен в свой полк, а 11 июня того же года переведён подпоручиком в конную № 11 батарейную батарею 6-й конно-артиллерийской бригады.
26 августа 1862 года Паренсов был произведён в поручики и 1 июня 1865 года поступил в Николаевскую академию Генерального штаба. 29 августа 1867 года Паренсов был произведён в штабс-капитаны, 28 октября того же года окончил курс в академии по 1-му разряду и с производством в капитаны был назначен на службу в штаб войск гвардии и Петербургского военного округага с зачислением в Генеральный штаб. 25 марта 1869 года назначен исполняющим дела старшего адъютанта в штаб 2-й гвардейской кавалерийской дивизии; 4 мая переведён в Генеральный штаб, с утверждением в должности.
7 мая 1869 года Паренсов был командирован по Высочайшему повелению в Оренбург, для посылок в степь с отрядами войск, причём в июне участвовал в деле при рассеянии вооружённых казахских скопищ при урочище Казбек; за оказанную здесь распорядительность и храбрость 16 февраля 1870 года награждён орденом св. Анны 3-й степени с мечами и бантом.
1 февраля 1870 года Паренсов был назначен помощником старшего адъютанта штаба войск гвардии и Петербургского военного округа, a 5 апреля удостоился получить изъявление высочайшей благодарности за участие в переписи военного населения столицы. Высочайшим приказом от 21 августа 1870 года Паренсов был назначен преподавателем военных наук в Учебном кавалерийском эскадроне и 30 августа того же года награждён орденом св. Станислава 2-й степени.
30 августа 1871 года Паренсов был произведён в подполковники, с оставлением в должности; 8 февраля 1873 года он был назначен состоять для особых поручений при Главнокомандующем войсками гвардии и Петербургского военного округа. 30 августа того же года ему была пожалована императорская корона к ордену св. Станислава 2-й степени и в том же году получил прусский орден Короны 2-й степени, а в следующем — командорский крест австрийского ордена Франца-Иосифа. 30 августа 1874 года Паренсов был произведён в полковники, с оставлением в должности и 26 августа 1876 года награждён орденом св. Анны 2-й степени.
Перед русско-турецкой войной 1877—1878 годов Паренсов в течение семи месяцев производил разведку о силах и расположении турецких войск, секретно путешествуя по Румынии и Болгарии, причём временно был арестован турецкими жандармами в Рущуке.
С открытием военных действий за Дунаем Паренсов 7 января был назначен начальником штаба Кавказской казачьей дивизии.
До окончательного перенесения театра военных действий за Балканы, Паренсов участвовал 2 июля в деле у деревни Акиджалара под Сельви и 5 июля в занятии города Ловчи отрядом флигель-адъютанта полковника Жеребкова; за отличие в этих делах Паренсов был 11 августа 1877 года награждён золотой саблей с надписью «За храбрость». 16 июля он находился в усиленной рекогносцировке Ловчи с северо-восточной стороны деревни Павликане, под начальством генерал-майора Скобелева.
С 17 июля по 2 августа Паренсов находился в составе отряда генерал-лейтенанта барона Криденера; участвовал в сражении под Плевной 18 июля в отряде генерал-майора Скобелева (под общим начальством генерал-лейтенанта барона Криденера) и в усиленной рекогносцировке Ловчи 26 июля. За отличие в этих делах Паренсов 30 сентября был награждён орденом св. Владимира 4-й степени с мечами и бантом. По словам М. Д. Скобелева, Паренсов «был настоящим его помощником в полном смысле этого слова и во всех отношениях».
С 12 по 19 августа Паренсов находился в Шипкинском отряде генерал-лейтенанта Радецкого и участвовал в перестрелках с турками. 22 августа он под начальством генерал-майора князя Имеретинского участвовал при взятии приступом Ловчи и 30 октября за отличие награждён орденом св. Владимира 3-й степени с мечами. Затем до 1 сентября он находился в составе Плевненского отряда генерал-лейтенанта Зотова, причём 26 августа был контужен в голову картечной гранатой. 30 августа участвовал в штурме Плевны с южной стороны отрядом генерал-майора Скобелева, a 31 августа — в сражении на левом фланге позиции под Плевной.
С 17 октября Паренсов состоял в составе Плевненского отряда обложения под командованием князя Карла Румынского, причём 27 октября назначен начальником штаба 2-й гвардейской пехотной дивизии. С 3 ноября он состоял в западном отряде генерал-адъютанта Гурко, причём участвовал 10 и 11 ноября в перестрелках и в артиллерийском бою против Правецкой укреплённой позиции и был сильно контужен. С 30 ноября по 22 декабря 1877 года Паренсов находился для лечения в госпитале Красного Креста; затем был отправлен в Россию, где и лечился до конца мая 1878 года. Между тем, 16 апреля 1878 года он за отличие в делах с турками был произведён в генерал-майоры (со старшинством от 23 декабря того же года).
8 июня 1878 года он был назначен исполняющим дела начальника штаба Северного (бывшего Рущукского, а потом Восточного) отряда; должность эту занимал по 1 мая 1879 года, то есть до возвращения в Россию, причём вместе с тем с 25 января 1879 года исправлял должность начальника штаба 12-го армейского корпуса.
4 июля 1879 года Паренсов был уволен от службы по прошению и тогда же был зачислен на службу в болгарские войска, с назначением военным министром. Разойдясь в политических взглядах с князем Александром Баттенбергским, Паренсов был отозван из Болгарии и 29 марта 1880 года вновь определён на российскую военную службу в Генеральный штаб с назначением состоять при Главнокомандующем войсками гвардии и Петербургского военного округа. 11 августа того же года, за отлично-усердную службу и труды, понесённые в бывшей Действующей армии Паренсов был награждён орденом св. Станислава 1-й степени, а за службу в оккупационных войсках ему объявлено монаршее благоволение.
1 сентября 1880 года Паренсов зачислен по Генеральному штабу и 6 сентября 1881 года назначен начальником штаба 2-го армейского корпуса в Вильне. 15 мая 1883 года награждён орденом св. Анны 1-й степени.
Контузии и лишения во время войны, а также труды и неприятности в Болгарии отозвались на Паренсове тяжёлой болезнью и 7 октября 1884 года он уволился в отпуск с зачислением в запас по Генеральному штабу.
14 марта 1886 года Паренсов был вновь определён из запаса на действительную службу, с назначением состоять в распоряжении начальника Главнаго штаба и с зачислением по Генеральному штабу. 19 апреля 1887 года он был назначен Варшавским комендантом, а 26 июля того же года — помощником начальника штаба Варшавского военного округа.
30 августа 1888 года награждён орденом св. Владимира 2-й степени, 19 февраля 1890 года назначен командующим 6-й кавалерийской дивизией и 30 августа того же года, с производством в генерал-лейтенанты, утверждён в занимаемой должности. 8 октября 1890 года Паренсов зачислен в списки Генерального штаба, с оставлением в должности и по армейской кавалерии; 30 августа 1893 года пожалован орденом Белого Орла. С 7 декабря 1898 года по 5 июня 1902 года Паренсов был комендантом Варшавской крепости, причём в 1899 году был награждён орденом св. Александра Невского и 1 апреля 1901 года произведён в генералы от инфантерии.
Пятнадцатилетняя служба в Царстве Польском дала возможность Паренсову не только присмотреться, но и изучить русско-польские отношения, униатский вопрос, еврейский, нарождавшийся уже тогда вопрос о выделении Холмской губернии, а также немецкую колонизацию Польши. 5 июня 1902 года Паренсов был назначен в распоряжение военного министра, в 1904 году получил алмазные знаки к ордену св. Александра Невского, 5 января 1906 года назначен Петергофским комендантом, а в начале 1914 года уволен в отставку.
Паренсовым написаны воспоминания о войне 1877—1878 годов и о первом годе самостоятельного существования Болгарского княжества под общим заглавием «Из прошлого» («На войне», «Ужасные дни», «Затишье» и «В Болгарии»), признанные Императорской академией наук достойными Макарьевской и Ахматовской премий. Также Паренсов напечатал ряд статей в «Русском инвалиде», «Голосе правды», «Военном сборнике», «Русской старине» и «Новом времени». Архив Паренсова хранится в Рукописном фонде Российской национальной библиотеки.
Паренсов состоял товарищем председателя Славянского благотворительного общества, членом Императорского русского военно-исторического общества, общества ревнителей русско-исторического просвещения в память императора Александра III, общества ревнителей военных знаний, Окраинного общества и Галицкого общества. Город Ловеч в Болгарии избрал Паренсова своим почётным гражданином, а городское управление Софии назвало его именем улицу.
Умер 25 августа 1914 года в Санкт-Петербурге.