Большое влияние на многие области математики оказали его исследования в теории гиперболических групп, а также работы, связанные с h-принципом.
Родился в семье Леонида Громова и Лии Рабинович (двоюродной сестры шахматиста Михаила Ботвинника). Учился в 217-й школе (б. Петришуле) г. Ленинграда. Закончил Ленинградский университет в 1965 году. Там же защитил кандидатскую (1969) и докторскую (1973) диссертации. Его научным руководителем был Владимир Абрамович Рохлин. В этом же университете с 1967 года работал ассистентом и доцентом, затем научным сотрудником Ленинградского гидрометеорологического института и Центрального НИИ целлюлозно-бумажной промышленности.
В 1974 году переехал с семьёй в США. До 1981 года был профессором Нью-Йоркского университета в Стоуни-Брук, в 1981—1982 годах — Университета Парижа VI (Universit? de Paris VI).
С 1982 года работает в Институте высших научных исследований (фр. Institut des Hautes ?tudes Scientifiques) во Франции, где занимает позицию постоянного профессора. В 1991—1996 годах — профессор в Университете Мэриленда (University of Maryland, College Park). С 1996 года — профессор Нью-Йоркского университета. Почётный профессор (professor by special appointment) школы математических наук Тель-Авивского университета.
За свои достижения в области геометрии награжден премией Веблена (1981), премией Вольфа (1993), медалью Лобачевского (1997), премией Бальцана (1999), премией Киото (2002), премией Неммерса (2004), премией Яноша Бойяи (2005), Абелевской премией (2009).
Член Национальной академии наук США (1989).
В 2011 году избран иностранным членом Лондонского королевского общества, а также иностранным членом Российской академии наук.