Воспитание получил в Дворянском полку, откуда был выпущен 10 августа 1845 г. прапорщиком в Алексопольский пехотный полк, с которым принимал участие в Венгерской войне, был в сражениях под Вайценом и Дебречином, затем командовал в том же полку ротой, а в 1852 году был прикомандирован к Дворянскому полку.
С наступлением Крымской войны Зарубаев, по собственному желанию, был снова отправлен в свой полк, участвовал с ним в делах на Дунае и при осаде Силистрии, а в апреле 1855 г. отправился в Севастополь. Здесь в течение 5-ти месяцев, находясь в передовой оборонительной линии, Зарубаев участвовал в геройской обороне Севастополя и при отбитии штурма 29 июня был контужен осколком бомбы в голову. За боевые заслуги в этих делах он был награждён чином штабс-капитана и орденами св. Анны 3-й степени с мечами и св. Станислава 2-й степени с мечами.
По возвращении из кампании Зарубаев был прикомандирован к Образцовому полку, затем зачислен в кадр этого полка и переведён в Лейб-гвардии Павловский полк.
Произведённый в 1865 г. в полковники, Зарубаев в то же время состоял при Его Императорском Величестве князе Евгении Максимилиановиче Романовском, герцоге Лейхтенбергском. 19 февраля 1872 г. Зарубаев был произведён в генерал-майоры и в 1877 г. участвовал в русско-турецкой войне 1877—1878 гг., за что получил орден св. Анны 1-й степени с мечами; в генерал-лейтенанты он был произведён 30 августа 1885 г.
Среди прочих имел ордена св. Станислава 1-й степени (1875 г.) и св. Владимира 2-й степени (1882 г.)
Скончался в Санкт-Петербурге 2 августа 1890 года, похоронен на кладбище Новодевичьего монастыря.
В. П. Зарубаев оставил после себя интересные воспоминания о Севастопольской обороне.