Родился в Ташкенте 18 (31) октября 1910 г. Окончил Среднеазиатский государственный университет по специальности «немецкий язык». В 1930—1940-х работал в Среднеазиатском государственном университете и в Ташкентском институте иностранных языков. Участник Великой отечественной войны (переводчик на фронте). С 1950 г. работал в Московском государственном университете.
В 1960 г. Звегинцев возглавил вновь созданное отделение Теоретической и прикладной лингвистики, а впоследствии кафедру структурной и прикладной лингвистики, которой заведовал до её ликвидации в 1982 г. (в 1988 г. она была воссоздана под названием Кафедра теоретической и прикладной лингвистики) филологического факультета МГУ. Наряду с руководством кафедрой Звегинцев преподавал на отделении историю и теорию лингвистики и руководил аспирантами. Основал серию изданий «Новое в лингвистике» (позднее — «Новое в зарубежной лингвистике»), а также серию «Публикации отделения структурной и прикладной лингвистики».
Работа на кафедре в условиях застоя давалась руководителю нелегко. Звегинцеву (который сам не был членом КПСС, что было крайне редко для руководителя его уровня) приходилось нести ответственность и за сотрудников кафедры, вступавших в конфликт с советской властью. После одного из разбирательств в августе 1974 г. у Звегинцева случился инфаркт, и учёный временно отходит от работы. В 1982 г. он по соглашению с ректором МГУ оставляет пост и договаривается о назначении своего преемника. Однако после его ухода осенью 1982 г. кафедра СиПЛ была ликвидирована и слита с кафедрой общего и сравнительно-исторического языкознания.
Звегинцев скончался в Москве 13 апреля 1988 г. В его честь на ОТиПЛ регулярно проводятся «Звегинцевские чтения».
Звегинцев принадлежит к тому типу учёных, общественные заслуги которых стоят наравне с их чисто научными достижениями. Помимо многолетнего руководства Отделением структурной и прикладной лингвистики, бесспорной заслугой Звегинцева является организация переводов на русский язык практически всех важнейших лингвистических сочинений XX века, в том числе трудов Ельмслева, Якобсона, Мартине, Гринберга, Хомского, Чейфа, Филлмора и многих других. По инициативе Звегинцева на русском языке были изданы в новых переводах и с подробными комментариями основные труды Соссюра и собрание сочинений Вильгельма фон Гумбольдта, одной из его любимых фигур в истории лингвистики. До сих пор сохраняет своё значение и двухтомный труд Звегинцева по истории языкознания XIX—XX вв.: он представляет собой хрестоматию, в которую включены специально подобранные отрывки из работ лингвистов разных научных школ, иллюстрирующие их взгляды на ключевые проблемы теории языка (определение языка, функции языка, задачи лингвистического описания и т. п.). Эти тексты сопровождаются краткими комментариями составителя, отмеченными яркой печатью его личности.
Знавшие Звегинцева люди вспоминают его как мужественного и независимого человека, не боявшегося отстаивать свою позицию и не склонного уступать давлению властей.