Сын наказного атамана Донского казачьего войска, генерала от кавалерии Дмитрия Ивановича Иловайского, родился 30 января 1785 г., и в пятилетнем возрасте был записан в Атаманский казачий полк. В 1792 году был произведён прямо в есаулы и в этом чине в 1797 году поступил во 2-й кадетский корпус «для окончательного воспитания».
Выпущенный в 1800 году с сохранением чина есаула, Иловайский в 1801 году поступил на действительную службу в Атаманский казачий полк, а в 1802 году перевёлся в полк своего отца, с которым и принял участие в войне с французами в 1806—1807 гг. С двумя сотнями он ходил несколько раз в атаку под Пултуском, под Гогенштейном рассеял эскадрон французских конных егерей и взял в плен капитана и 24 рядовых; сражался под Янковом и Прейсиш-Эйлау; 27 апреля 1807 г., переправившись вплавь через р. Алле, он сбил неприятельские пикеты у д. Рейдикейнена, 1 мая рассеял 2 роты польских войск. Под Гуттштадтом (24 мая), снова переплыв через Алле, выбил неприятеля из окопов, захватив в плен 1 офицера и 30 рядовых, а на другой день, при преследовании неприятеля за Пассаргу, отбил 1 пушку и взял в плен 1 офицера и 44 рядовых; 27 мая, командуя сотней, участвовал в поражении 4-тысячного отряда французской кавалерии при деревнях Эльдитене и Клейнендорфе и, наконец, был в сражениях под Гейльсбергом и Фридландом, за отличие в которых награждён орденом св. Анны 4-й степени на саблю и золотой саблей с надписью «За храбрость».
В 1808 г. Иловайский отправился с полком в Молдавскую армию на театр русско-турецкой войны и 1 января 1809 г. был произведён в войсковые старшины. Временно командуя полком своего отца Иловайского 2-го, он отразил 19 и 20 июля 1809 г. вылазки турок из Силистрии и за эти дела награждён орденом св. Владимира 4-й степени с бантом, затем переправился через Дунай, двинулся к Мачину и нанёс поражение турецкому отряду, высланному из крепости. В августе того же года, при движении к Силистрии, Иловайский шёл в авангарде и дважды отразил яростные атаки неприятеля, которого заманивал в засаду. За это дело был 18 октября 1809 г. награждён орденом св. Георгия 4-й степени
В сражении 4 сентября при Рассевате он произвёл ряд лихих атак на турок и взял 3 орудия, 5 знамён и много пленных и получил орден св. Анны 2-й степени. На следующий день он снова напал на турок, бежавших к Кузгуну и захватил 4 орудия, 13 зарядных ящиков и большие запасы хлеба. В сентябре 1809 г. Иловайский получил в командование полк своего имени и находился с ним во главе в бою у Татарицы.
22 мая 1810 г. разбитые и вытесненные из Базарджика турки бросились конными группами на дорогу в Шумлу; Иловайский преследовал их около 20 вёрст и захватил 3 знамени и 98 пленных, в том числе и одного пашу, за что получил чин подполковника. Далее отразил ряд вылазок турок из Шумлы, а в Батинском сражении, действуя на левом крыле, взял 8 знамен и 1 пушку и за отличие произведён в полковники.
В кампании 1811 г. Иловайский особенно отличился при окружении Кутузовым армии великого визиря на правом берегу Дуная. Затем направленный с корпусом генерала Маркова к Рущуку, Иловайский, командуя 2 донскими казачьими полками и эскадроном Ольвиопольского гусарского полка, переплыл Дунай и неожиданно ворвался в лагерь визиря, где взял много пленных, 2 мортиры, 7 пушек и 12 знамён, за это дело удостоился ордена св. Владимира 3-й степени.
В марте 1812 г. Иловайский поступил с полком в состав 2-й Западной армии князя Багратиона и в июле, находясь в арьергарде, прикрывал отступление её от Волковыска к Смоленску, во время которого 2 июля опрокинул при д. Романовке 2 полка французской кавалерии и взял в плен 9 офицеров и 189 рядовых. 27 июля выбил ночным нападением французов из Велижа (взято в плен 2 офицера и 80 рядовых), 3 августа разбил неприятельский отряд у Суража (взято в плен 3 офицера и 159 рядовых) и 8 августа ночью напал врасплох при Поречье на часть дивизии генерала Пино и взял в плен 150 человек.
После Бородинского сражения Иловайский, составляя авангард отряда генерала Винцингероде, стоял у Чашникова ближе всех к неприятелю и, наблюдая его, 5 октября 1812 г. первым вошёл в Москву и занял её после непродолжительного, но упорного боя у Петровского дворца с оставшимися в ней французскими войсками в числе полутора тысяч; донося об этом императору генерал Винцингероде писал: «Считая всегда венгерскую конницу первой в мире, после виденной мною атаки Иловайского, я должен отдать преимущество казакам перед венгерскими гусарами». За освобождение Москвы Иловайский получил чин генерал-майора.
В заграничной кампании 1813 г. Иловайский с отличием участвовал в ночном бою у Нордгаузена, в делах под Наумбургом и Вейсенфельсом, на пути к Кульму он окружил своим полком отступавшего маршала Вандама и взял его в плен вместе со всем штабом. Далее Иловайский участвовал в сражениях под Люценом, Бауценом, Кульмом (за отличие награждён орденом св. Анны 1-й степени) и Лейпцигом. Вечером 6 октября 1813 г. император Александр I, предвидя отступление французов от Лейпцига, вызвал к себе Иловайского и сказал ему: «Видишь, победа наша. Опереди неприятельскую армию, разрушай мосты и гати и тем останавливай её; словом, наноси ей возможный вред. Но где же ты переправишься через реку? Мост в Лейпциге занят неприятелем». — «Казакам река не преграда, — отвечал Иловайский, — переправимся и вплавь». Иловайский в точности выполнил указания Государя и, переправившись через реку с 2 казачьими полками, пошёл к Франкфурту, истребляя мосты и запасы на пути отступления французской армии и имея почти беспрерывные бои, занял Веймар, по выходе из которого имел удачное дело с конной дивизией генерала Фурнье, 8 офицеров и около 400 нижних чинов были взяты в плен. 15 октября Иловайский, соединясь с генералом Чернышёвым, предупредил отход неприятеля в Фульде, где уничтожил большой магазин и взял до 500 пленных, оттеснил гвардейскую дивизию генерала Дюмустье к Ганау и принял деятельное участие в победе, одержанной союзниками у этого города; за этот подвиг Иловайский был награждён золотой с алмазами шпагой. Достигнув Франкфурта-на Майне, Иловайский остался там в ожидании прибытия императора Александра I. По приезде государя во Франкфурт 10 декабря Иловайский был удостоен ордена св. Георгия 3-й степени
В кампании 1814 г. Иловайский, в составе войск графа Витгенштейна, занял с бою г. Васси и на пути к Монтьерандеру взял в плен генерала Мерлена, 16 офицеров и 200 нижних чинов, за что получил орден св. Владимира 2-й степени; далее сражался под Бар-сюр-Обом, под Лабрюсселем произвёл лихую атаку в тыл неприятеля и взял более 500 пленных (получил алмазные знаки к ордену св. Анны 1-й степени), разбил отряд французской гвардейской кавалерии между Планси и Арсисом, взяв там 300 пленных. В сражении под Фер-Шампенуазом Иловайский врезался в две неприятельские колонны и взял 5 орудий и до 900 человек в плен, а в день сражения под Парижем наблюдал на левом берегу р. Марны за движением Наполеона от Витри к Парижу и вторично получил алмазные знаки к ордену св. Анны 1-й степени. Во время торжественной церемонии входа русских войск в Париж стоявший рядом с императором Александром I цесаревич Константин Павлович сказал о В. Д. Иловайском: «Он по номеру двенадцатый, а недюжинный».
По возвращении из-за границы на Дон Иловайский в 1823 г. был назначен походным атаманом Донских казачьих полков в отдельном Кавказском корпусе; 26 августа 1826 г. был произведён в генерал-лейтенанты и в 1827 г. принял участие в войне с Персией. Награждённый за победу при Джеван-Булахе золотой с бриллиантами табакеркой, Иловайский в сентябре того же года по расстроенному здоровью вынужден был покинуть Кавказ и, прослужив на Дону ещё 13 лет, 25 марта 1840 г. вышел в отставку.
Умер 3 ноября 1860, похоронен в Москве в Донском монастыре. 26 августа 1904 его имя было дано 8-му Донскому казачьему полку и Иловайский стал считаться его вечным шефом.