Выпускник еврейской театральной школы, солист ГОСЕТа. Начал выступать на идише. В 1955 году впервые пел в концертах джаз-оркестра Мосэстрады п/у Эдди Рознера. В 1959 выехал на гастроли в Париж вместе с группой других артистов-евреев на празднование 100-летия Шолом-Алейхема. А в 1960 году он стал лауреатом всесоюзного конкурса артистов эстрады. В 1960 году Горовец запел на русском языке, который был для него третьим — после еврейского и украинского. Он был первым исполнителем знаменитых «Дроздов» Владимира Шаинского.
Горовец был первым исполнителем таких шлягеров, как «Королева красоты», «Голубые города», и песни Андрея Петрова «Я шагаю по Москве» еще до того, как вышел фильм, в котором она прозвучала. Для Горовца писали Ян Френкель, Вано Мурадели, Арно Бабаджанян, Модест Табачников, Эдди Рознер. После того, как в феврале 1963 года по радиостанции «Юность» прозвучал его 45-минутный концерт, к нему пришла настоящая слава.П Примерно в 1966-67 гг. на сингле(советском) была записана песня Beatles "Girl" с такими словами "Помню как-то ночью брел я по алеям сада ,чтоб взглянуть в открытое окно"
Позже развернулась государственная антисемитская кампания, начались неприятности с исполнением еврейского репертуара, ставшего неофициально запретным. По радио и телевидению больше не звучали еврейские песни. Более того, от еврейских актеров требовали русских псевдонимов, причем официально никаких законов не существовало, всё решалось в личных беседах с начальством на уровне намёков. В 1972 году Эмиль Яковлевич с женой, актрисой Маргаритой Полонской, его верной соратницей, партнершей и помощницей, подал документы на выезд в Израиль, куда и прибыли в 1973 году.
Но карьера в Израиле не сложилась:
Готовясь к отъезду, я сделал большую программу на еврейском языке. Но откуда мне было знать, что культура на идише в Израиле искореняется? Представители Сохнута со мной упорно говорили на иврите, хотя все они отлично понимали и русский, и идиш.
Он уехал в США по приглашению «Арбайтер-Ринг». Мэр Нью-Йорка Эдвард Коч принял участие в оформлении ему рабочей визы. Договор с «Арбайтер-Ринг» был заключен на семь лет. Через семь лет, когда кончился контракт, он вернулся в Израиль, проехал по всей стране, дал 22 концерта за один месяц. Но израильская бюрократия второй раз оттолкнула певца.
Горовец опять вернулся в США. Он стал работать преподавателем пения в канторской школе, но учиться на кантора не захотел, хоть ему и предлагали. Он вырос в неортодоксальной семье, любил эстраду, народную песню, к слову сказать — в его репертуаре были не только еврейские песни, канторское пение было ему чуждо:
Горовец много концертировал, открыл в Манхэттене «Балалайку», первый русский ресторан в Нью-Йорке с собственным шоу, где был солистом. Однако ресторан не приносил особых доходов. Да и для самого певца главным было не ведение бизнеса, а возможность свободно выступать, независимо от контрактов. Горовец работал на еврейском радио (идиш). Он выходил в эфир три раза в неделю. Он сочинял по нескольку песен в неделю для своих передач — слова и музыку. У него собралась огромная фонотека. Многие еврейские песни он переводил с идиша на русский. Позже он вел передачу «Мамелошн» («мамин язык» — так называют язык идиш на языке идиш — родной язык) на радиостанции WMNB, а затем — на радиостанции «Надежда».
Он очень много сделал для идиш-культуры. В течение всей эмиграции он переводил на идиш советские эстрадные песни, которые пел сначала в Израиле, а потом с успехом исполнял в постоянных гастрольных поздках по Америке и Западной Европе, тем самым знакомя зрителей с советской эстрадой. Он улыбался: евреи есть всюду — кто-нибудь поймет. И его понимали. Горовец жил в элитном многоэтажном комплексе в Манхаттене прямо на берегу Ист Ривер. Дом был построен так, что его торец стоял на сваях, уходящих в реку — очередное чудо техники былой Америки. И волны бились о стену дома. Окна квартиры Эмиля Яковлевича выходили как раз на реку, и можно было следить сверху за плесканием воды и плаванием кораблей, огибающих дом — завораживающее, совершенное неожиданное зрелице. В одной из трех комнат этой своей квартиры в Нью-Йорке он обустроил студию, где записал огромное количество новых и старых песен на разных языках и оперных арий, оставив огромную фонотеку.
В 1989 году он приехал в Москву. Бывшего отщепенца принимали на том самом телевизионном «Огоньке», с которого началась его всесоюзная слава. «Огонек» был посвящен «Дню строителя». Горовцу задали вопрос: что он построил в своей жизни? Он ответил: «Я оставлю после себя свои песни».
После смерти жены Маргариты Полонской, с которой прожил больше половины жизни, он посвятил ей прекрасную лирическую песню (музыка и слова), песню-скорбь, песню-рыдание. Он жил один, — взрослые сыновья обзавелись собственными семьями, творчеством отца не интересовались, — пока однажды, зайдя в гости к русским соседям, не встретил приехавшую из Москвы женщину — Ирину, ставшую его третьей женой и вдовой. Они успели прожить вместе всего пару лет, и всё это время она всегда была с ним, взяв на себя все хлопоты и заботы, ухаживала за ним, возила гулять в инвалидном кресле, когда ему трудно стало ходить самому. Теперь она очень много делает для сохранения его творчества — распространяет его записи, устраивает бесплатные аудиоконцерты, связывается с еврейскими исполнителями, готовит для них его песни.
Эмиль Яковлевич Горовец похоронен на кладбище в Нью-Джерси, США, рядом с женой Маргаритой Полонской.