Родился в 1922 году в д. Михайловка Петуховского района Северо-Казахстанской области в крестьянской семье. В 1930 году семья переехала в г. Новосибирск, где жила до 1934 года. В 1938 году он окончил 8 классов в колонии № 1 «Чекист» под г. Томском. В 1940 году окончил Томское педагогическое училище и стал работать в школе № 42.
В апреле 1941 года был призван в ряды Красной Армии, но был признан негодным к несению военной службы. В сентябре 1941 года поступил на факультет русского языка и литературы ТГПИ (заочное отделение). В 1943 году вновь призван в ряды Красной Армии. Учился в Ленинско-Кузнецком пехотном училище. Участвовал в форсировании Днепра и был ранен. В составе 3-й танковой армии радист-пулеметчик В.А. Зибарев воевал в Польши, Чехославакии, Венгрии и Германии.
После демобилизации в 1946 году работал детском доме, затем поступил на исторический факультет ТГПИ. За время учебы зарекомендовал себя хорошим студентом и активным общественником, был секретарем комитета ВЛКСМ ТГПИ, заместителем председателя окружной комиссии по выборам в местные советы. В 1950 году окончил с отличием исторический факультет Томского государственный педагогического института.
C 1956 года на преподавательской работе, в 1964—1990 годах заведовал кафедрой истории КПСС (политической истории) в Томском инженерно-строительном институте. Труды по истории малых народов Севера.
Жена — М. П. Серебрякова (1924—2000) — заслуженный работник культуры РСФСР. С 1961 г. по 1987 г. работала в Научной библиотеке Томского государственного университета, с 1974 г. в должности директора.
Сыновья: А. В. Зибарев (1952) — доктор химических наук, профессор, работает в Новосибирском институте органической химии им. Н. Н. Ворожцова СО РАН и Новосибирском государственном университете; П. В. Зибарев (1955) — доктор технических наук, профессор, работает в Томском государственном архитектурно-сторительном университете.
В 1955 году Зибарев В. А. защитил кандидатскую диссертацию по теме «Первые мероприятия Советской власти по оказанию помощи малым народам Дальнего Востока в восстановительный период (1922—1926 гг.)», в 1971 году защитил докторскую диссертацию по теме «Создание советской национальной социалистической государственности малых народов Севера (1917—1932 гг.)». Опубликовал 120 научных работ.
Его библиотека и архив приобретены в научную библиотеку Обско-угорского института прикладных исследований и разработок.