Виктор Кудрявцев родился в Туле, где сначала занимался в хореографической студии Дворца пионеров. Когда Виктору исполнилось 14 лет, ему предложили поступать в хореографическое училище при Большом театре. В училище Виктор поступил, но своего общежития в театре еще не было, а московские родственники приютить не смогли и ему пришлось вернуться домой в Тулу. Вскоре во Дворце пионеров открылась группа фигурного катания, и в 16 лет В. Кудрявцев встал на коньки. Через пару лет стал третьим на юниорском первенстве страны и готовился в составе взрослой сборной СССР к зимним Играм 1956 года. После окончания школы поступил в ГЦОЛИФК, по окончанию которого в 1960 году перешёл на тренерскую работу.
Став тренером, В.Н. Кудрявцев подготовил целый ряд известных фигуристов. Первый тренерский успех пришёл к Виктору Кудрявцеву в 1975 году, когда его ученик Сергей Волков стал первым советским Чемпионом мира в мужском одиночном катании. Всего его ученики завоевали на чемпионатах страны, Европы и мира 108 медалей.
Основной специализацией Виктора Николаевича является мужское и женское одиночное катание, но он имеет опыт работы и со спортивными парами. Его ученики Людмила Смирнова / Андрей Сурайкин на Олимпиаде в Саппоро стали вторыми в короткой программе, проиграв всего одним судейским голосом Ирине Родниной / Алексею Уланову.
В настоящее время работает старшим тренером ГОУ ДОСН ЭШВСМ «Москвич».
Женат на своей бывшей ученице Марине Титовой, которая после завершения спортивной карьеры, как и муж, стала тренером.