Родился в Курске. По окончании средних классов школы поступил на курсы электромонтеров и, закончив их, работал киномехаником в клубе железнодорожников в Курске. В том же клубе работал пианист, который и обратил внимание на музыкальную одаренность юного электромонтера, которому только что минуло 16 лет. И конечно, всем этим музыкальный интерес молодого человека и ограничился бы. Но вскоре Владимиру Викторовичу удалось переехать в Москву. Работая в Москве старшим электроосветителем, киномехаником, он не расставался с пением: в кругу друзей, по слуху, исполняя все, что запоминалось. Однажды с Ивановским познакомились родственники профессора Московской консерватории Н. Ладухина и показали юношу маститому композитору М. Ипполитову-Иванову. В это же время сам Ивановский, участвуя в художественной самодеятельности, на Всесоюзной олимпиаде был премирован и направлен для обучения в музыкальное училище имени А. К. Глазунова, в класс профессора Д. Белявской.
В 1940 году молодой певец приходит в труппу Ленинградского театра оперы и балета имени С. М. Кирова. Вторая мировая война повернула судьбу по-своему: начинающего вокалиста прикомандировали солистом ансамбля песни и пляски, обслуживающего береговую оборону Балтийского флота. За годы Ленинградской блокады певец принял участие почти в тысяче концертов.
После войны театр вернулся из эвакуации, и Ивановский возвращается на сцену. Партии: Хозе в «Кармен», Рауль в «Гугенотах», Самозванец в «Борисе Годунове», Герман в «Пиковой даме», Павел («Семья Тараса» Д. Кабалевского) .
В 1952 году приглашен в труппу Большого театра.
Ивановский спел в Большом театре партию Германа около двухсот раз. А как-то за один сезон из двадцати объявленных спектаклей «Пиковой дамы» он выступил в девятнадцати. Среди других ролей в Большом театре — Гвидон.
Закончив вокальную карьеру, оставался в Большом театре на административной работе. С 1969 по 1974 гг. — заведующий оперной труппой Большого театра. C 1975 по 2002 годы — старший инспектор по организации концертной деятельности коллектива.
25 июня 2002 года спектаклем «Пиковая дама» Большой театр отметил 90-летний юбилей певца.
Исполнял сольную партию в Девятой симфонии Бетховена, «Реквием» Верди, ораторию Шапорина.