Родился 28 марта 1916 года в городе Шуе ныне Ивановской области в семье рабочего. Русский. Член ВКП(б)/КПСС с 1944 года. Окончил 7 классов, школу фабрично-заводского ученичества, работал слесарем на фабрике родном городе. В 1936 году окончил рабфак энергетического института в городе Иваново, и одновременно Ивановский аэроклуб.
В марте 1936 года Ивановским областным военкоматом был призван в Красную Армию и направлен в авиационное училище. В 1939 году Тамбовское лётное училище гражданского воздушного флота. Получил назначение в город Ташкент, работал пилотом на гражданских авиалиниях в Средней Азии. В 1940 году окончил Конотопскую военную авиационную школе пилотов.
В первые годы Великой Отечественной войны готовил в лётных школах кадры лётчиков-истребителей. С 1943 года в составе 1-й перегоночной авиационной дивизии Гражданского Воздушного Флота перегонял по трассе «Алсиб» американские самолеты, поставляемые по ленд-лизу. Двухлетняя работа летчика в трудных условиях Севера отмечена орденами Отечественной войны 1-й степени и Красной Звезды.
После Победы продолжал службу в авиационных частях. За успехи в обучении молодого поколения летчиков и освоении новой боевой техники награждается вторым орденом Красной Звезды. Весной 1948 года принимал участие в высокоширотной экспедиции «Север-2».
В составе группы из трёх истребителей Ла-11 выполнил перелёт Москва — мыс Шмидта (на Чукотке), через населенный пункты Дальнего Востока, дальностью 8500 километров. Испытывая самолет Ла-11 в условиях Крайнего Севера налетал 50 часов. Впервые в истории авиации на одноместном истребителе летал надо льдами Северного Ледовитого океана, удаляясь от берега на расстояния свыше 12000 км. Дважды выполнял посадки на ледовый аэродром, расположенный на 82 градусе 15 минутах северной широты.
В марте 1949 года гвардии капитан Боровков был представлен к присвоению звания Герой Советского Союза. В наградном листе начальник военной группы высокоширотной арктической воздушной экспедиции «Север-2» гвардии полковник Серебряков отмечал: «Самолет посадочных лыж не имел и посадки производились на колеса. Все это было произведено мастерски, так как посадочные площадки были крайне ограничены и заснежены. Условия полета проходили в тяжелых метеорологических условиях Арктики. Для выполнения таких заданий необходимо проявление мужества и отваги».
Указом Президиума Верховного Совета СССР от 6 декабря 1949 года за отвагу и мужество, проявленные при выполнении воинского долга, а также за освоение новой военной техники гвардии капитану Боровкову Виктору Дмитриевичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 6616).
Летчик-истребитель Боровков продолжил службу в военной авиации. В 1950-1951 годах принимал участие в боевых действиях в Корее в составе 28-г о гвардейского истребительного авиационного полка 151-го гвардейской истребительной авиационной дивизии. Командир эскадрильи майор Боровков в воздушных боях одержал одну победу. Был награждён двумя орденами Красного Знамени.
В 1958 году полковник Боровков по состоянию здоровья ушёл в запас. Жил городе Елец Липецкой области.
Скончался 4 августа 1995 года.
Его имя увековечено на стеле шуян — Героев Советского Союза, установленной на воинском мемориале на Троицком кладбище города Шуя.