Родился 18 декабря 1930 года в Симферополе в семье ответственного министерского работника Якова Давидовича Калмановича и его жены Веры Борисовны (1910—2002), занимавшейся надомным пошивом одежды. В 1943 году семья из эвакуации переехала в Москву.
Учился в Московской художественной школе для одарённых детей, затем в Академии художеств Эстонской ССР (факультет живописи). В дальнейшем учился в Школе-студии МХАТ (постановочный факультет) и на Высших режиссёрских курсах.
В 1954 году его по распределению отправили на год в Германию художником в театр группы советских войск.
В 1955—1956 годах был художником-постановщиком МХАТа, Малого театра, Театра оперетты. Работал режиссёром в театре «Современник» и в Театре на Таганке. Со скандалом был уволен из Театра имени Ленинского комсомола.
В 1966 году Владимира Ворошилова пригласили на телевидение, где он снимал документальные и научно-познавательные фильмы.
В 1968 году появился первый крупный проект «Аукцион» — одна из первых игровых передач Центрального телевидения в прямом эфире. В эфир вышло шесть выпусков. Программа была снята с эфира советской цензурой, а Ворошилов перешёл в разряд внештатников и надолго стал персоной нон-грата. В первые годы существования передачи «Что? Где? Когда?» в титрах даже не указывалась его фамилия.
С 1970 по 1972 работал над программой «А ну-ка, парни!». После гибели участника был уволен с телевидения.
4 сентября 1975 года в эфир вышел первый выпуск игры «Что? Где? Когда?».
В 1990 году вышла телеигра Брейн-ринг, где Ворошилов вёл первые выпуски, однако из-за занятости ушёл оттуда.
В 1997 году Владимир Ворошилов стал академиком Российской Академии телевизионных искусств «ТЭФИ». Академия отметила его званием лауреата и премией за программу «Что? Где? Когда?».
30 декабря 2000 года Ворошилов провёл свою последнюю игру в эфире. Дальнейшее её проведение он завещал своему приёмному сыну Борису Крюку.
10 марта 2001 года, в год 25-летнего юбилея «Что? Где? Когда?», Владимир Яковлевич скончался. Смерть наступила в результате обширного инфаркта, около пяти вечера на даче в подмосковном Переделкино.
В 2001 году был посмертно удостоен премии «ТЭФИ» в номинации «За личный вклад в развитие отечественного телевидения».
В 2003 году на могиле В. Я. Ворошилова на Ваганьковском кладбище в Москве установлен памятник — куб из чёрного отполированного гранита, символизирующий черный ящик. Монумент сооружен по проекту архитектора Никиты Шангина, участника игры «Что? Где? Когда?» с 1981 г.
Официально был женат 4 раза. Фамилии первых трёх жён — Ворошилова, Бухаркина, Музыка.Последняя официальная жена Владимира Ворошилова — Наталья Стеценко (5 декабря 1945), генеральный продюсер его популярной программы. В последние годы жизни состоял в фактическом браке с Натальей Климовой, однако брак со Стеценко официально расторгнут не был. Приёмный сын — Борис Крюк (1966) (сын Натальи Стеценко). Дочь — Ворошилова Наталья (1998) (дочь Натальи Климовой). Наследство Владимира Ворошилова после его смерти стало предметом судебного спора между Натальей Стеценко и Натальей Климовой.