Родился 2 февраля 1901 года в Вильно (Российская империя) в семье преподавателя музыки Рувина Елиевича Хейфеца и Хаи Израилевны Шарфштейн. Начал учиться игре на скрипке в трёхлетнем возрасте и вскоре прослыл вундеркиндом. В шестилетнем возрасте впервые принял участие в публичном концерте, где исполнил Концерт Феликса Мендельсона-Бартольди.
В 1910 году начал учиться в Санкт-Петербургской консерватории. В 1913 году посетил во время гастролей по Европе Швецию и Германию, где познакомился с Фрицем Крейслером.
В 1917 году впервые посетил США, где выступил 17 октября в Карнеги-холле. Хейфец предпочёл остаться в США и в 1925 году получил американское гражданство. 7 ноября 1917 года впервые произвёл запись своей игры в коммерческих целях. Во время Второй мировой войны часто выступал перед солдатами на фронте, чтобы поднять их боевой дух.
В 1953 году во время четвёртых гастролей в Израиле Хейфец включил в свою программу Скрипичную сонату Рихарда Штрауса. В то время Рихард Штраус рассматривался многими израильтянами как нацистский композитор, и его произведения были неофициально запрещены в Израиле вместе с произведениями Рихарда Вагнера. Несмотря на просьбу правительства Израиля изменить программу, непокорный Хейфец заявил: «Музыка выше этих факторов… Я не изменю мою программу. Я имею право сам выбирать свой репертуар». Несмотря на это заявление, во время всего тура публика встречала эту сонату гробовым молчанием.
Международный конкурс скрипачей имени Яши Хейфеца проводится с 2001 года на родине Хейфеца в Вильнюсе.
В 1972 году перестал выступать на концертах и перешёл к преподаванию в университете Южной Калифорнии.
Яша Хейфец был весьма активен как педагог, преподавая вначале в Калифорнийском университете (Лос Анджелес), затем в Университете Южной Калифорнии рядом со своими друзьями и коллегами Григорием Пятигорским и Уильямом Примроузом. На протяжении нескольких лет в восьмидесятых годах он также давал частные уроки в своём доме в Беверли-Хиллз. Есть сведения, что Хейфец, будучи приверженцем железной дисциплины, распоряжался запирать ворота своего дома к началу урока, дабы проучить опоздавших студентов.
В настоящее время бывшая студия Хейфеца в Колбёрнской школе используется для проведения мастерклассов и служит источником вдохновения для учащихся консерватории. За свою преподавательскую карьеру Хейфец воспитал таких видных исполнителей как Пьер Амуайяль, Эрик Фридман, Рудольф Кулман, Юваль Ярон, Юджин Фодор, Кэрол Синдэлл, Адам Хан-Горский, Роберт Витте, Элизабет Матески, Клэр Ходжкинс, Юкико Камеи, Варуян Коян, Шерри Клосс, Элейн Скородин, Пол Розенталь, Айк Агус.
Яша Хейфец скончался в госпитале Седарс-Синай в Лос-Анджелесе, штат Калифорния, в декабре 1987 года.