Виктор Чистохвалов начал карьеру футболиста в 1938 году в коломенском клубе «Металлист». В 1940 году перешёл в московский «Спартак», в котором провёл один сезон. В 1941—1943 годах выступал за московский ЦДКА. В 1944 году присоединился к только что созданной команде МВО, за которую выступал до конца 1946 года. В 1947 году вернулся в ЦДКА, с которым впоследствии стал четырёхкратным чемпионом СССР и двукратным обладателем кубка страны. В 1952 году армейский клуб был расформирован, и Чистохвалов принял решение завершить карьеру. С 1966 года и до самой смерти практически без перерывов работал тренером в ДЮСШ ЦСКА. В 1968 году возглавлял кировабадское «Динамо».