16 октября 2002 года указом Президента Российской Федерации был награждён Орденом Почета за заслуги в развитии физической культуры, спорта и многолетний добросовестный труд.
Боксом начал заниматься в 13 лет под руководством тренера Владимира Фроловича Конькова, привившего ему необычную манеру боя, одним из элементов которой была открытая стойка с опущенными руками.
В 1960 году Агеев начал уникальную победную серию, в ходе которой выиграл 34 международных встречи, дважды (1965, 1967) завоевал титул чемпиона Европы и четырежды (1963, 1965—1967) — чемпиона СССР.
Спортивная карьера Агеева оборвалась в 1968 году, когда он был исключён из сборной и лишён звание мастера спорта за пьяную драку возле московского ночного кафе. Однако даже этот факт не вразумил талантливого боксёра. Спустя почти три года Агеев оказался замешан ещё в одном криминальном инциденте, который не позволил ему попасть ещё на одну Олимпиаду — в Мехико. На этот раз Агеев умудрился избить милиционера.
Во время «отсидки» Агеев умудрился заработать ещё один срок. В период работы на Новолипецком тракторном заводе, ему из Москвы пришло сообщение, что умер его отец. Однако руководство колонии отпускать Агеева на похороны не захотело. Тогда он уехал самовольно. Потом лёг в больницу, чтобы симулировать сотрясение мозга — чтобы снова в тюрьму не попасть. Но следователем, как назло, оказался бывший борец-неудачник. И он раскрутил это дело. Как итог: Агееву дали ещё один срок. Экс-спортсмен освободился весной 1975 года, но в Москву вернуться не мог — столичную прописку у него аннулировали. Тем не менее, благодаря связям, получить заветный штамп в паспорте о проживании в столице в скором времени всё-таки удалось.
После возвращения в Москву Агеев работал тренером. Среди его учеников чемпионы СССР, Европы и Мира — В.Рыбаков, В.Лимасов, В.Соломин, Галкин, победитель знаменитого кубинца Эрреры легковес Анатолий Петров и первый чемпион России среди профессионалов Виктор Егоров, Николай Токарев, Сергей Кобзев, Виктор Карпухин.
В конце 80-х Агеев стал одним из инициаторов развития в СССР профессионального бокса. В 1992 избран президентом Федерации профессионального бокса России, вошёл в руководство Всемирной боксёрской ассоциации (WBA) и Паназиатской боксёрской ассоциации (PABA).
В г. Балашиха Московской области им создан «Боксерский клуб им. В.П. Агеева», где бесплатно тренируются свыше 100 юных спортсменов. Специализированный зал бокса оснащен новейшим оборудованием, также в клубе имеется тренажерный зал и восстановительный центр. Ежегодно в Балашихе проводится международный турнир на призы Виктора Петровича Агеева.