В 1869 году окончил юридический факультет Харьковского университета; стажировался за рубежом. С 1889 года читал курс финансового права на юридическом факультете Петербургского университета; с 1893 года — экстраординарный, с 1901-го — ординарный, с 1914-го — заслуженный профессор Петербургского университета.
Участвовал в работе Центрального статистического комитета МВД, возглавлял комиссию по разработке материалов Всеобщей переписи населения России в 1897; как член Совета Государственного банка работал над экономическим обоснованием денежной реформы. Кауфман участвовал в учреждении Международного статистического института в Лондоне.
Автор научных трудов по истории финансов в России. Ему принадлежит одна из первых рецензий на русский перевод I тома книги «Капитал» К. Маркса.
Член совета Государственного дворянского земельного банка.
Труды К. посвящены вопросам денежного обращения и кредита, преимущественно государственного. С поступлением его на службу в Центральный статистический комитет, они получили характер статистических исследований (печ. во «Временнике» комитета, серия II), представляющих много ценного и хорошо разработанного материала для истории нашего финансового хозяйства.
Особенно важна его «Статистика государственных финансов России в 1862—1884 гг.» (СПб., 1886), где впервые обнародован в систематическом виде цифровой материал, могущий служить для проверки проектов улучшения наших финансов.
Другие труды Кауфмана:
Кроме того, Кауфман напечатал ряд статей в «Вестнике Европы»: