Родился 6 марта 1930 в Томске, там же провёл детские годы. В 1937 репрессирован отец. В 1948 окончил среднюю школу и поступил на механико-математический факультет Томского университета, который окончил в 1953 с дипломом с отличием, но как сын «врага народа» не мог даже надеяться поступить в аспирантуру. В марте 1953 года умер И. В. Сталин. Ситуация в стране изменилась и В. А. Топоногов был зачислен в аспирантуру Томского университета. Его математические интересы сформировались под влиянием Абрама Ильича Фета, научного руководителя по аспирантуре, и работ Александра Даниловича Александрова.
В 1956 Виктор Андреевич переехал в Новосибирск. В декабре 1958 защитил в Московском университете кандидатскую диссертацию, в которой теорема А. Д. Александрова о сравнении углов треугольников была перенесена на многомерные римановы многообразия. В апреле 1961 В. А. Топоногов перешёл на работу в создававшийся в то время Институт математики с вычислительным центром Сибирского отделения АН СССР (нынешнее название — Институт математики им. С. Л. Соболева Сибирского отделения Российской академии наук), в котором проработал до конца жизни, в том числе в должностях заместителя директора и заведующего лабораторией. В 1969 защитил докторскую диссертацию на тему «Экстремальные теоремы для римановых пространств кривизны, ограниченной сверху». Преподавал в Новосибирском государственном университете и Новосибирском государственном педагогическом университете. Более десяти его учеников защитили кандидатские (а некоторые из них — и докторские) диссертации.
Был прекрасным шахматистом. Много ходил по сибирской тайге, сплавлялся на байдарках по сибирским рекам.
Умер в Новосибирске 21 ноября 2004. Похоронен там же, на кладбище «Южное».
Первые 30 лет своей научной деятельности Виктор Андреевич посвятил одному из важнейших разделов современной геометрии — римановой геометрии «в целом». Наряду с Э. Картаном, М. Морсом, Г. Раухом, А. Д. Александровым, М. Берже, и В. Клингенбергом был одним из тех, кто превратил риманову геометрию из сугубо локальной теории в современную глобальную риманову геометрию.
Его работы легли в основу многочисленных последующих исследований о связи между кривизной и топологическим строением римановых многообразий, а также поведением геодезических.
Наиболее известны следующие теоремы В. А. Топоногова:
В 1980—1990 годы В. А. Топоногов выполнил несколько работ по математическим методам в химии.
Посмертно на английском языке вышел университетский учебник В. А. Топоногова по дифференциальной геометрии: V.A. Toponogov. Differential geometry of curves and surfaces. A concise guide. Birkhauser Boston, Inc., Boston, MA, 2006. xiv+206 pp. ISBN 978-0-8176-4384-3; ISBN 0-8176-4384-2.