Константин Петрович фон Кауфман воспитание получил в Инженерном училище (ныне Военный инженерно-технический университет). С 1844 г. служил с отличием на Кавказе. В Восточную войну 1853—1856 гг., командуя Кавказским сапёрным батальоном, участвовал в обложении и штурме Карса и по поручению генерала Муравьёва заключил капитуляцию о сдаче этой крепости с английским комиссаром Уильямсом.
В 1861 г. назначен директором канцелярии военного министерства. Здесь на долю Кауфмана выпало немало трудов, так как в это время разрабатывался вопрос о введении у нас военно-окружной системы; одновременно с этим он участвовал в разных комитетах по происходившим тогда преобразованиям всей военной организации.
В 1865 г. назначен генерал-губернатором Северо-Западного края и командующим войсками Виленского военного округа. В июле 1867 г. получил назначение на должность командующего войсками Туркестанского военного округа, где деятельность его, кроме многократных поражений, нанесенных бухарцам, хивинцам и кокандцам, ознаменовалась взятием Самарканда (1868) и покорением Хивы (1873). Награждённый за последний подвиг орденом св. Георгия 2-й степени, Кауфман в 1874 г. произведён в инженер-генералы.
В 1875 г. им покорено было Кокандское ханство, из которого была образована Ферганская область.
Туркестанское генерал губернаторство и город Ташкент обязаны К. П. фон Кауфману многим, в том числе созданием Городской думы и организации Публичной библиотеки (сейчас — Национальная библиотека Узбекистана имени Алишера Навои).
4 (17) мая 1882 г. К. П. фон Кауфман умер и был похоронен на площади города, которая впоследствии стала называться Сквером им. Кауфмана. Впоследствии после постройки в Ташкенте Военного собора в 1889 г., в седьмую годовщину смерти, он был перезахоронен в правом приделе южной стены собора.
К. П. Кауфман был женат на дочери адмирала М. Б. Берха Юлии Морицовне, у них был сын Михаил.