Обучался в Московской консерватории в классах Николая Малько и Константина Сараджева (дирижирование), Александра Гедике (фортепиано).
По окончании обучения стал дирижёром в Оперной студии Станиславского, где работал в течение семи лет (1928—1935). Станиславский оказал значительное влияние на творческие принципы молодого дирижёра. Среди его постановок этого периода — «Севильский цирюльник» Россини и «Кармен» Бизе.
В 1936 году Хайкин переехал в Ленинград, где сменил Самуила Самосуда на посту художественного руководителя Малого оперного театра, а также стал преподавать в Ленинградской консерватории. Под управлением Хайкина состоялись премьеры опер Дмитрия Кабалевского «Кола Брюньон» и Ивана Дзержинского «Поднятая целина», а также многочисленные постановки русской классики — опер Мусоргского, Чайковского и Римского-Корсакова.
В 1943 году Хайкин возглавил Кировский театр, где также исполнял новые сочинения советских композиторов, такие как опера «Повесть о настоящем человеке» Прокофьева, «Семья Тараса» Кабалевского, «Князь-Озеро» Дзержинского и др. В 1954 году дирижёр возвращается в Москву, где становится дирижёром Большого театра и профессором Московской консерватории, занимая эту должность до самой смерти. Среди его учеников — Кирилл Кондрашин, Марк Эрмлер.
Похоронен после кремации на Донском кладбище в Москве.
В середине 1980-х годов, уже после смерти Хайкина, вышла в свет его книга «Беседы о дирижёрском ремесле».
Хайкин обладал непревзойдённым артистизмом, хорошим исполнительским вкусом и пониманием стиля. В его оперных постановках органично сочетались драматическая и музыкальная составляющие. Несколько раз он получал приглашение руководить заграничными постановками русских опер: «Хованщины» во Флоренции (1963), «Пиковой дамы» в Лейпциге (1964) и др. Хайкин также успешно выступал как симфонический дирижёр — в 1966 году в Италии состоялись гастроли оркестра Ленинградской филармонии под его управлением.