Родился в семье врача-отоларинголога Моисея (Максима) Савельевича Жирмунского (1854—1937), автора первого в России учебника по заболеваниям уха, горла и носа (1892), научных трудов по лечению среди прочего озены, отита среднего уха и тугоухости. Троюродный брат Юрия Николаевича Тынянова. Окончил Тенишевское училище и Петербургский университет (1912). Преподавал в Саратовском и Петербургском университетах, Педагогическом институте им. А. И. Герцена и др. Работал в Институте языка и мышления им. Марра, Институте литературы АН СССР (Пушкинском доме), где руководил отделом западных литератур. Профессор кафедры германской филологии Ленинградского университета (с 1956 года). С 1957 года вплоть до смерти — заведующий сектором индоевропейских языков ЛО Института языкознания АН СССР. Член-корреспондент (1939), действительный член (1966) АН СССР.
Как лингвист В. М. Жирмунский является одним из наиболее значительных представителей Ленинградской грамматической школы, большое внимание уделявший (преимущественно на материале германских языков) проблемам исторических изменений грамматического строя, грамматической вариативности, аналитизма и синтетизма и др. В его работах высказан ряд идей, предвосхитивших основные положения «теории грамматикализации» К. Лемана и Б. Хайне, которая получила широкое распространение в последние десятилетия XX века. Ему принадлежат фундаментальные исследования по немецкой диалектологии (интересные и в плане социолингвистических наблюдений); в особенности значителен его вклад в изучение немецких диалектов на территории России («языковых островов»). В конце 1930-х годов Жирмунским были опубликованы исследования диалектов идиша на территории СССР.
В области литературоведения В. М. Жирмунский плодотворно занимался исследованиями немецкого и тюркского фольклора и эпоса, творчеством Гёте, Байрона и других классиков немецкой и английской литератур, а также историей германско-русских литературных связей (так, ему принадлежит классическая исследование «Байрон и Пушкин» о русской байронической поэме, с привлечением большого количества малоизвестных произведений пушкинской эпохи). Существен его вклад в теорию русского стиха — проблематика, которой он начал заниматься ещё в 1920-е годы, сблизившись с исследователями «формального направления» круга ОПОЯЗа. До появления работ М. Л. Гаспарова ранние исследования В. М. Жирмунского оставались самыми значительными в этой области. Проницательный исследователь творчества Ахматовой, В. М. Жирмунский ввёл в употребление применительно к старшим акмеистам известную формулу «преодолевшие символизм».
Одним из последних направлений исследований стало изучение эпического цикла тюркских народов «Сорок богатырей», герои которого имели реальных прототипов в лице знати Ногайской орды. Эти исследования были большим вкладом не только в филологию, но и в историю Ногайской орды.
В. М. Жирмунский был также успешным организатором науки; по его инициативе в 1950—1960-е гг. был проведён ряд конференций и изданы сборники статей по проблемам теории грамматики, морфологической типологии, аналитизма и др. Среди его учеников много крупных петербургских лингвистов младших поколений (в частности, Ю. С. Маслов); в аспирантуре у В. М. Жирмунского училась Н. Я. Мандельштам.
Похоронен на кладбище в Комарово.
Племянница В. М. Жирмунского — поэт, переводчик, литературный критик Тамара Жирмунская (р. 1936), в настоящий момент проживает в Германии.
Внук В.М. Жирмунского - Андрей Аствацатуров, филолог и писатель, доцент кафедры Истории зарубежных литератур СПбГУ и руководитель программы «Литература» в Смольном институте свободных искусств и наук.
Мемориальная доска Загородный проспект, Санкт-Петербург
Надгробная плита на могиле В. М. Жирмунского Комаровский некрополь, Санкт-Петербург