Андрей Викторович Гапонов-Грехов родился в Москве в семье учёных-физиков. Его родители Мария Тихоновна Грехова и Виктор Иванович Гапонов познакомились во время учёбы в МГУ. При рождении сына он получил двойную фамилию. В начале 30-х годов XX века родители переехали в Горький, где начали проводить исследования по радиофизике. Благодаря стараниям Греховой в годы Великой Отечественной войны был воссоздан исследовательский физико-технический институт при Горьковском университете. Создан радиофизический факультет в составе университета. В середине 50-х годов ею был создан научно-исследовательский радиофизический институт (НИРФИ).
Андрей Гапонов-Грехов пошёл по стопам родителей; после окончания школы он поступил на специальный факультет Горьковского индустриального института. После окончания двух курсов он перевёлся на радиофизический факультет Горьковского университета, который окончил в 1949 году. В том же году он поступил в аспирантуру к академику А. А. Андронову. Тот предложил ему для кандидатской диссертации тему по общей теории электромеханических систем.
В Андрей Гапонов-Грехов в течение 6 лет занимался в решением этой задачи и в 1955 году защитил диссертацию в Ленинградском политехническом институте. Причём за значимость этой работы соискателю были присвоены и кандидатская и докторская степени.
После окончания аспирантуры Андрей Гапонов-Грехов работал преподавателем в Горьковском политехническом институте, а после присвоения учёного звания доктора физико-математических наук стал работать в ГИФТИ, одновременно оставаясь профессором политехнического института.
С конца 50-х годов Гапонов-Грехов активно занимается исследованиями в области нелинейных волновых процессов, а также в решении проблемы генерации и усиления мощных высокочастотных электромагнитных колебаний с длиной волны в миллиметровом и субмиллиметровом диапазонах. Со своими сотрудниками он открыл и исследовал явление ударных электромагнитных волн.
Ученым была разработана теория индуцированного излучения классических нелинейных осцилляторов с основанным на этой теории принципом генерации и усиления электромагнитных волн потоками возбужденных неизохронных осцилляторов. Разработанные на этих принципах устройства нашли применение в работах по созданию термоядерных реакторов и слежении за космическими объектами.
За свои работы Андрей Викторович Гапонов-Грехов дважды был удостоен Государственной премии СССР в 1968 и 1983 годах. В 1964 году он был избран член-корреспондентом Академии наук СССР, а в 1968 году академиком. С 1966 года он работал заместителем директора НИРФИ, а в 1976 году возглавил Институт прикладной физики РАН (ИПФ РАН) и руководил им до 2003 года. С 2003 года он остаётся научным руководителем ИПФ РАН.
В 1989—1991 годах он избирался депутатом Верховного Совета СССР.
Автор около 150 научных публикаций. Главный редактор журнала «Известия РАН. Серия физическая», член редколлегий журналов «Физика плазмы», «Известия вузов. Радиофизика», «Акустический журнал». Являлся членом редколлегии журналов «Журнал экспериментальной и теоретической физики», «Журнал технической физики», «Автометрия».