В 1955—1960 гг. учился в Таллинском музыкальном училище на отделениях ударных инструментов и хорового дирижирования.
В 1955—1960 гг. учился в Ленинградской консерватории на отделении оперно-симфонического дирижирования у Николая Рабиновича и Евгения Мравинского.
Как симфонический дирижер дебютировал в 18-летнем возрасте в Эстонии, как оперный — в качестве дирижера оркестра Ленинградского государственного академического театра оперы и балета им. С. М. Кирова с оперой Жоржа Бизе «Кармен».
В 1963 г. стал главным дирижёром сразу двух коллективов: Симфонического оркестра Эстонского телевидения и радио (в 1975 г. преобразованного в Государственный симфонический оркестр Эстонской ССР) и оркестра театра оперы и балета «Эстония». С 1976 г. сосредоточился на работе с симфоническим оркестром. В 1960-х годах после многочисленных гастролей по республикам бывшего СССР и странам Восточной Европы с Театром им. Кирова стал широко известен далеко за пределами Эстонии.
Свою международную карьеру Ярви начал в 1971 году, после победы в Италии на конкурсе Музыкальной академии Санта-Чечилия. За этим событием последовали приглашения со всего мира от многих известных оркестров и знаменитых оперных театров.
В 1980 году Ярви с семьей покинул Советский Союз и переехал в США, с 1987 г. гражданин США. В 1982—2004 гг. главный дирижёр Гётеборгского симфонического оркестра, одновременно в 1984—1988 гг. возглавлял Шотландский национальный оркестр, а в 1990—2005 гг. Детройтский симфонический оркестр. Был также главным приглашённым дирижёром Бирмингемского симфонического оркестра (1981—1983) и др. С 2005 г. главный дирижёр гаагского Резиденц-оркестра — одного из трёх ведущих оркестров Нидерландов (в России знаменитого, в частности, тем, что именно им на протяжении последних лет своей жизни руководил Евгений Светланов). Регулярно выступает с Лондонским симфоническим оркестром, амстердамским Концертгебау, Оркестром Парижа и другими ведущими коллективами мира.
В 2010 году снова возглавил Эстонский национальный симфонический оркестр, однако через несколько месяцев покинул его из-за разногласий с министерством культуры.
За последние 12 лет дал 1119 концертов в 125 городах, руководя 72-мя различными оркестрами.
В числе прочего Ярви известен как исполнитель многих редкоисполняемых и малоизвестных симфонических партитур. Среди записей, осуществлённых дирижёром, — полные собрания симфоний Хуго Альвена, Сэмюэла Барбера, Александра Бородина, Антонина Дворжака, Василия Калинникова, Богуслава Мартину, Карла Нильсена, Сергея Прокофьев, Николая Римского-Корсакова, Яна Сибелиуса, Вильгельма Стенхаммара, Эдуарда Тубина, Зденека Фибиха, Дмитрия Шостаковича, все оперы Сергея Рахманинова, собрания симфонических сочинений Людвига ван Бетховена, Эдварда Грига, Антонина Дворжака, Яна Сибелиуса.
С января 2011 года Ярви должен сменить Марека Яновски на должности художественного руководителя Оркестра романской Швейцарии, а с сентября 2012 года приступить к исполнению обязанностей музыкального руководителя. Договор с Ярви заключен на три сезона до 31 августа 2015 года.
Двое сыновей Неэме Ярви — Пааво и Кристьян Ярви — также профессиональные дирижёры.
Удостоен многих призов и почетных званий. В числе прочего является почетным доктором Эстонской академии музыки и театра, университетов в Детройте, Абердине (Шотландия), Гётеборге. У себя на родине носит негласный титул «эстонец столетия» и является почетным гражданином города Пярну. Лауреат первой премии Международного конкурса Музыкальной академии Санта-Чечилия (1971, Рим).