В 1920, после смерти отца, был взят на воспитание одним из полков Красной Армии.
Научившись играть на трубе, несколько лет служил в военных оркестрах.
С 1927 года Иванов учится в музыкальном техникуме имени А. Скрябина. В 1932 поступил на дирижёрский факультет Московской консерватории в класс Л. М. Гинзбурга (окончил в 1937). В 1935-37 - дирижёр оркестра Центрального театра Красной Армии. Затем ассистент дирижёра Оперной студии Московской консерватории (1937-38), а в 1938, после Всесоюзного конкурса дирижёров, на котором он завоевал третью премию, был принят стажёром в Государственный симфонический оркестр СССР.
В 1939?1941 работал в Оперном театре имени Станиславского и Немировича-Данченко, в 1941?1946 ? с Большим симфоническим оркестром Гостелерадио.
С 1946 по 1965 годы Иванов ? главный дирижёр Государственного академического симфонического оркестра СССР. Под руководством Иванова этот коллектив расширил свою гастрольную географию, побывав в союзных республиках, городах Поволжья, Урала, Сибири и Дальнего Востока, в 1956 совершил первую поездку за границу ? в Польшу. Иванов возглавлял оркестр на гастрольных поездках в Чехословакии, Румынии, Бельгии, США, Японии, сам неоднократно выступал с зарубежными оркестрами в Португалии, Франции, Мексике, Бельгии, Великобритании, Нидерландах и других странах. Именно при Иванове Госоркестр утвердился в числе ведущих мировых симфонических коллективов.
Окончил композиторское отделение института им. Гнесиных (1970-1973). Член Союза композиторов СССР.
Похоронен на Кунцевском кладбище.
Дирижёрскому искусству Иванова присущи яркая эмоциональность, стремление к монументальности, тяготение к крупным формам. Центральное место в его репертуаре занимали произвеления русских классиков, и в первую очередь ? П. И. Чайковского, а также М. И. Глинки, А. П. Бородина, М. П. Мусоргского, Н. А. Римского-Корсакова, С. В. Рахманинова, А. Н. Скрябина, А. К. Лядова. Важное место в его творчестве занимали и сочинения советских композиторов ? Н. Я. Мясковского, С. С. Прокофьева, Д. Д. Шостаковича, А. И. Хачатуряна, Гии Канчели.
Иванов также является автором нескольких сочинений ? симфонии, симфонической поэмы «Огненные годы», концерта для контрабаса и др.