В футбол играл с детства в дворовой команде, которую организовали старшие братья. С 15 лет пошёл работать на завод слесарем и стал играть в заводской команде, где его и заметил Георгий Жарков. В 1952 году его пригласили в команду «Торпедо», где уже через год он стал входить в основной состав, несмотря на большую конкуренцию и свой молодой возраст. Вместе с ним в «Торпедо» играли Эдуард Стрельцов, Валерий Воронин, Слава Метревели, Геннадий Гусаров, Виктор Шустиков и многие другие. Самым звёздным сезоном и для команды и самого Валентина Козмича стал 1960 год, когда «Торпедо» сделало дубль, выиграв чемпионат и Кубок СССР, а сборная команда стала чемпионом Европы.
Иванов всю свою жизнь посвятил только одной команде — «Торпедо». За время его руководства клубом, команда стала чемпионом СССР в 1976 году, выигрывала Кубок СССР. В 80-е у Иванова была самая стабильная команда, два подряд выхода в финал Кубка СССР, в 1988 и 1989, в те годы в команде играли Юрий Савичев, Николай Савичев, вратарь Дмитрий Харин. В конце 80-х в «Торпедо» появился ряд молодых и перспективных игроков таких как Юрий Тишков, Сергей Шустиков, Андрей Талалаев, Геннадий Гришин, Дмитрий Ульянов и Игорь Чугайнов.
Многие футболисты и тренеры отмечали дар Иванова как тренера. В начале 90-х в прессе стали появляться статьи о Иванове-тиране, о его деспотизме. Многие печатные издания стали широко освещать конфликт игрок-тренер, что не было на руку команде. В начале 90-х «Торпедо» представляло сплочённый коллектив, в 91-м финалист Кубка СССР, бронзовый призёр чемпионата СССР, молодёжь такие как Максим Чельцов, Сергей Зоря приглашаются в молодёжную сборную СССР. В команде опять конфликт: Сергей Шустиков, сын знаменитого футболиста 60-х Виктора Шустикова, с которым Иванов долгое время играл, выступает с заявлениями о деспотичных методах Иванова. Иванов, в свою очередь, в газете «Советский спорт», указывает на то, что именно Чельцов и Шустиков стали авторами бунта, после того, как тренер уличил их и ещё несколько футболистов в употреблении спиртного на футбольной базе.
Но новое время ударило больше по Иванову, и в 1992 тренер переезжает в Марокко, где тренирует клуб «Раджа». В 1993 Иванов возвратился в Россию, только в «Асмарал». В результате многих конфликтов, команда начала разваливаться, в «Динамо» перешёл Юрий Тишков, один из самых талантливых нападающих начала 90-х. Несмотря на это, «Торпедо» сумело в серии послематчевых пенальти выиграть первый Кубок России в 1993 году.
После кубковой победы «Торпедо» покинули Шустиков, Ульянов, Чугайнов, Талалаев, Гришин. В 1996 «Торпедо» опять потряс скандал, но уже без Иванова-тренера. Команда шла к банкротству — ЗИЛ, который долгое время был шефом команды сам влез в большие долги. Владимир Алёшин выкупил акции клуба, переименовав его в «Торпедо-Лужники».
В 1998 году Иванов снова возглавил «Торпедо».
За сборную СССР провёл 59 матчей, забил 26 голов (третий результат после Олега Блохина и Олега Протасова). Иванов забил 4 мяча на чемпионате мира 1962, разделив лавры лучшего бомбардира первенства с Вава, Гарринчей, Драженом Ерковичем, Леонелем Санчесом и Флорианом Альбертом. За олимпийскую сборную СССР провёл 4 встречи и забил 3 гола. Сыграл в двух неофициальных матчах за сборную СССР.
8 ноября 2011 года Иванов скончался, не дожив до своего 77-летия меньше двух недель. По словам Никиты Симоняна «у него была болезнь Альцгеймера, он очень мучился. Супруга Лидия Гавриловна долго ухаживала за ним, но это неизлечимая болезнь». В тот же день мэр Москвы, Сергей Собянин, подписал документы о выделении для покойного места на Ваганьковском кладбище.
Жена — олимпийская чемпионка Лидия Иванова, сын — известный футбольный арбитр Валентин Иванов.
Окончил Смоленский государственный институт физической культуры (1973) и Высшую школу тренеров при Государственном центральном институте физической культуры (1974).