Виктор Ворошилов родился 15 августа 1926 года в селе Всехсвятском (сейчас это московский район Сокол).
Футболом Виктор Ворошилов, как и многие мальчишки его времени, увлекался с детства, отдавал ему все свои силы и свободное время, однако о карьере профессионального игрока не задумывался. В войну и послевоенное время, работал на авиационном заводе токарем, играл в заводской команде. За его старание и желание играть был приглашён в Куйбышев и несмотря на то, что зарплата токаря 6-го разряда была в несколько раз выше, он согласился на переезд.
В 1-й сезон ему долго не удавалось проявить себя. Первый гол Ворошилов забил в своём 26-м матче за клуб, однако впоследствии, вместе со своим партнёром по атаке Гулевским они составили главную ударную силу «Крыльев». На их долю пришлось больше половины голов, забитых командой.
Затем, в 1956-м году перешёл в столичный «Локомотив», в котором играл до 36 лет, причём в сезоне 1961 года, в возрасте 35 лет, забил 20 голов в чемпионате страны. По окончании карьеры игрока остался в клубе помощником тренера. Потом работал тренером федерации футбола РСФСР (1966—1968), опять помощником тренера в Локомотиве и тренером футбольной школы «Локомотива» (1973—1991). Несколько лет являлся президентом футбольного клуба ветеранов России.