Владимир Ворошилов родился 18 декабря 1930 года в Симферополе, Республика Крым. Во время Великой Отечественной войны его семья была эвакуирована, и его отец управлял производством армейской формы. В конце 1943 года семья переехала в Москву. Владимир получил образование в Московской художественной школе для одаренных детей.
Он окончил факультет живописи Академии художеств Эстонской ССР, постановочный факультет школы-студии Московского Художественного Академического Театра и высшие режиссерские курсы. В 1954 году ему было поручено работать художником в Восточной Германии в Театре группы Советских войск.
После возвращения в Москву в 1955 году Ворошилов стал художником-постановщиком в различных московских театрах, включая МХАТ, Малый театр, Театр имени Станиславского, Театр оперетты, Театр на Малой Бронной, Ленком и ТЮЗ. Он также работал режиссером в театре «Современник» и на Таганке. В 1966 году он начал работать на телевидении, снимая документальные и познавательные фильмы.
В 1968 году Ворошилов создал программу «Аукцион», первую игровую передачу Центрального телевидения в прямом эфире. Он провел шесть выпусков передачи, после чего она была снята с эфира советской цензурой, и Ворошилова отстранили от телевизионной работы. Он затем начал писать сценарии, участвовать в режиссуре и работать за кадром.
В 1970 году Ворошилов создал программу «А ну-ка, парни», но она была закрыта из-за трагической гибели одного из участников программы. В 1975 году он запустил телеигру «Что? Где? Когда?», где он работал как автор, режиссер и ведущий в течение 25 лет. В этой программе он оставался скрытым, видимым только его руководство и голос.
Владимир Ворошилов также был автором книг, включая «Феномен игры» и «Загадки театрального режиссера», а также участвовал в создании различных программ на телевидении. В 1989 году его работу в «Что? Где? Когда?» отметили премией «ТЭФИ». Ворошилов скончался 10 марта 2001 года от инфаркта на своей даче в Переделкино и похоронен на Ваганьковском кладбище.