Из старинного княжеского рода Голицыных. Родился в Санкт-Петербурге в семье Дмитрия Михайловича Голицына и Ладомирской Зинаиды Васильевны. Окончил Пажеский корпус, был зачислен пажом к Высочайшему двору. Проходил военную службу, в 1885 году по семейным обстоятельствам ушёл в отставку в чине подполковника.
В 1910 году стал директором Московского публичного и Румянцевского музеев. При нём в 1913 году впервые библиотека Румянцевского музея начала получать государственное финансирование на комплектование фондов. При князе В. Д. Голицыне были построены: новая картинная галерея с Ивановским залом, новое книгохранилище, читальный зал на 300 мест. В связи с возвращением из Исторического музея рукописей Л. Н. Толстого был построен Кабинет Толстого. По инициативе Василия Дмитриевича в 1913 году было создано «Общество друзей Румянцевского музея». В. Д. Голицын был почётным членом Русского библиографического общества, Тульской губернской архивной комиссии, Псковской губернской архивной комиссии.
После Октябрьской революции Голицын оставался на посту директора музея, направлял своих сотрудников по стране с целью спасения региональных собраний. В 1918 году его пригласили для работы в Музейно-бытовую комиссию Моссовета, занимавшейся обследованием усадеб, личных коллекций, библиотек и выдачей охранных грамот их владельцам. В тот же год вышло новое Положение о Румянцевском музее и В. Д. Голицын стал председателем Комитета служащих.
10 марта 1921 года был арестован, но вскоре отпущен без предъявления обвинения. С мая 1921 года был заведующим художественным отделом Государственного Румянцевского музея, потом Государственной библиотеки СССР им. В. И. Ленина. Скончался в 1926 году в Москве.
Супруга (с 2 [14] июня 1880 года) — Толстая Прасковья Михайловна (1858—1918).
Дети: