Родился 12 апреля 1831 года в семье генерала А. В. Пашкова (1792—1868) и Елизаветы Петровны Пашковой (по первому браку — Лобановой-Ростовской, урождённой Киндяковой) (1805—1854).
В 1849 году блестяще закончил Пажеский корпус, его имя было занесено на мраморную доску среди лучших выпускников. Служил в кавалергардском полку, затем в 1850-е годы в Военном министерстве.
В начале 1860-х годов к нему переходит основная часть всех нижегородских владений Пашковых. Женитьба на графине Александре Ивановне Чернышевой-Кругликовой (род. в 1832 г.), первой дочери от брака в 1832 году старшей из сестер Чернышёвых графини Софьи Григорьевны с полковником в отставке Иваном Гавриловичем Кругликовым, приносит В. А. Пашкову в качестве приданого значительную часть богатств Чернышёвых, кроме майората.
Несмотря на успешное продвижение в военной карьере (в 1857 г. служил в канцелярии Военного министерства), в конце 1858 года увольняется со службы с производством в полковники. Некоторое время ведет светский образ жизни, имеет в Петербурге особняк у Литейного моста. Однако к 1870-м годам его интересы резко меняются. Он выступает в роли религиозного реформатора и проповедника, став последователем английского проповедника лорда Гренвиля Редстока.
С 1876 года руководил работой Общества поощрения духовно-нравственного чтения (закрыто в 1884 году). Пашкова вместе с группой его сторонников — евангельских христиан — выслали из столицы. Вместе с графом Корфом он уезжает в Лондон. Находясь в эмиграции, до самой смерти поддерживает своих последователей в России. Похоронен на кладбище Тестаччо.