Народный артист СССР (1981). Лауреат Ленинской и Государственных премий СССР. Член Союза композиторов СССР с 1952 года.
Отец кинорежиссёра Андрея Эшпая. Племянник композитора Анатолия Николаевича Тогаева.
Родился 15 мая 1925 года в городе Козьмодемьянск Марийской Республики. Отец — композитор Яков Андреевич Эшпай, мать — учитель русского языка и литературы Валентина Константиновна. В 1928 году семья переехала в Москву. Во время эвакуации обучался в средней школе № 1 города Мариинского Посада, который считает своей второй родиной и часто посещает.
С началом Великой Отечественной войны выразил желание уйти на фронт добровольцем, однако в связи с возрастом не был принят. В 1943 году поступил в Чкаловское (Оренбургское) пулемётное училище, окончил курсы военных переводчиков при ВИИЯКА. С конца 1944 года воевал на 1-м Белорусском фронте. Был награждён орденом Красной Звезды, медалями «За освобождение Варшавы», «За взятие Берлина», «За победу над Германией», польской медалью «За Варшаву, 1939—1945 гг».
После войны учился в Музыкальном училище при Московской консерватории на фортепианном (класс Р. Чернова) и композиторском (класс Е. Месснера) факультетах. В 1953—1956 годы учился в аспирантуре (класс А. Хачатуряна).
С 1960 года — секретарь, в 1973—1979 годы — 1-й секретарь CК РСФСР, с 1968 года — секретарь CК СССР. В 1965—1970 годах преподавал композицию в Московской консерватории. Выступает как пианист с исполнением своих произведений.
Композитор А. Я. Эшпай — автор балетов «Ангара» (1976), «Круг» (1980), кантаты «Ленин с нами» (1968), симфоний (1959, 1962, 1965, 1978-80, 1986, 1988), симфонических танцев на марийские темы (1952), концертов для оркестра (1967), для фортепьяно с оркестром (1954, 1972), для скрипки с оркестром (1956, 1977), «Венгерских напевов» для скрипки с оркестром (1953), увертюры-фантазии для оркестра «Переход Суворова через Альпы» (1996), камерных ансамблей, эстрадных песен.
Музыка и песни на музыку А. Я. Эшпая звучат в более чем полусотне отечественных кинофильмов, в одном из которых («Повесть о первой любви» 1957 года) композитор сам снялся в эпизодической роли.