Происходил из потомственных дворян Гродненской губернии.
Окончил 2-ю Санкт-Петербургскую военную гимназию (1865) и 1-е Павловское военное училище (1867).
Участвовал в кампаниях в Туркестане в 1873, 1875-1876, 1878 и 1880 гг.
В 1875 — капитан 3-го Западно-Сибирского линейного батальона.
C 1875 — майор, с 1879 — подполковник, с 1882 — полковник.
В 1887—1892 гг. — командир 85-го пехотного Выборгского полка.
C 1892 — командир 37-го Екатеринбургского пехотного полка.
С 1895 — генерал-майор, с 1900 — генерал-лейтенант.
Участник китайского похода. После взятия в августе 1900 года Пекина европейскими союзными войсками генерал Церпицкий в составе войск генерала Штакельберга принимает участие в осаде крепости Бейтан (в 12 километрах от Тонгу) во главе одной из двух штурмовых колонн. 7 сентября 1900 года отряд, возглавляемый Церпицким, занял ж.д. станцию Бейтан, что послужило началом общего штурма, завершившегося в тот же день овладением всеми фортами крепости.
11 сентября Церпицкий снова двинулся в поход, по направлению к Лутаю, с целью занять китайскую железную дорогу Тонку — Шанхайгуань — Инкоу. Заняв ж. д. станцию Таньшань, 14 сентября Церпицкий получил от коменданта крепости Шанхайгуань письмо, в котором тот соглашался на все условия сдачи крепости русским. 15 сентября отряд Церпицкого на двух поездах отправился занимать Шанхайгуань. 19 сентября 1900 года в ходе завершающих операций по уничтожению мелких отрядов генерал Церпицкий овладел Шанхайгуанем на границе с Маньчжурией.
26 октября 1900 года генерал-майор Церпицкий был назначен начальником Южно-Маньчжурского отряда.
В конце лета — начале осени 1901 года русскими войсками в Северной Маньчжурии были организованы и проведены операции по пленению последних остававшихся на свободе руководителей движения хунхузов. Общее руководство этими операциями еще в мае было возложено на командира 2-го Сибирского корпуса генерал-лейтенанта А. В. Каульбарса с подчинением ему на время военных действий генерал-лейтенанта Церпицкого с войсками Южно-Маньчжурского отряда.
Еще до указанных операций против главарей китайского повстанческого движения генералом Церпицким были проведены несколько частных операций против хунхузов в Южной Маньчжурии. Итогом этих действий явилось пленение китайского генерала Шеу и сдача в плен еще одного предводителя хунхузов Фуланго.
В августе 1901 года генерал-лейтенант Церпицкий сдал командование Южно-Маньчжурским отрядом генерал-майору Флейшеру, командовавшему им в начале кампании, при наступлении на Хайчен.
С 20 февраля 1902 по 11 декабря 1903 — командир 13-й пехотной дивизии.
В 1904 — командир 1-го Туркестанского армейского корпуса.
С ноября 1904 по сентябрь 1905 — командир 10-го армейского корпуса, принявшего участие в боях под Ляояном и Мукденом во время русско-японской войны.
В ходе сражения под Мукденом, 23 февраля 1905 года, на общем фоне ситуации, близкой к критической, отряды генералов Церпицкого и Гернгросса нанесли под Тзенитунем (Тхенитунем) контрудар по частям 3-й японской армии и временно остановили продвижение противника.
Умер от ран полученных под Мукденом в Каннах (Франция). Похоронен в Каннах (кладбище Гран-Жа).