Впервые в руки клюшку Яромир взял в 1976 году, тогда ему было 4 года. ХК Кладно, именно там Ягр провёл свой первый сезон в 1988 году, в первом профессиональном сезоне он забросил 8 шайб и сделал 10 передач в 39 играх. Для семнадцатилетнего игрока, его показатель — 18 очков, был великолепным результатом.
На драфте НХЛ 1990 года выбран в 1 раунде под общим 5 номером командой «Питтсбург Пингвинз». В Национальной хоккейной лиге выступал с 1990 года по 2008 год. Результат в первом сезоне: регулярный чемпионат (80 матчей) — 27 шайб, 30 передач: плей-офф (24 матча), 3 шайбы, 10 передач). И во втором тоже — при более выдающихся показателях: регулярка — 70 матчей, 32 шайбы, 37 передач; плей-офф: 21 матч, 11 шайб, 13 передач.
После этого Ягр уже не выиграет командных трофеев в составе Питсбурга, зато пять раз станет лучшим бомбардиром регулярного чемпионата НХЛ — «Арт Росс Трофи» ему вручали в 1995, 1998—2001 годах.
Летом 2001 года его обменивают на Криса Бича, Михала Сивика, Росса Лупачука из Вашингтона, и он попадает в столичную команду. Его обмен одна из газет осветила так: «Ягра обменяли на три мешка шайб». И как позже выяснилось, газета была недалека от истины.
11 июля 2001 года обменян в «Вашингтон Кэпиталз». 23 января 2004 года обменян в «Нью-Йорк Рейнджерс». Обладатель множества призов и наград НХЛ — пять раз Арт Росс Трофи, три раза Лестер Пирсон Авард и один раз Харт Трофи.
Во время локаута НХЛ в сезоне 2004/2005 играл в российской Суперлиге за омский «Авангард». В январе завоевал с клубом Кубок европейских чемпионов, забив в овертайме с «Кярпятом» «золотой» гол.
4 июля 2008 года подписал с «ястребами» полноценный контракт по системе «2+1». В 2009 и 2010 годах становился лучшим снайпером и лучшим бомбардиром клуба, уступив в 2011 г. этот титул партнёру по звену Р. Червенке. 28 Января 2011 г. в матче с «Барысом» Ягр набрал 200 и 201 очко за «Авангард». На тот момент Яромир провёл 205 игр, 88 шайб (включая два хет-трика) и 113 передач.
За все четыре сезона, проведённых в «Авангарде», Ягр забросил 93 шайбы и занял в списке «Лучших снайперов „Авангарда“ в высшем дивизионе» пятое место.
После окончания контракта с «Авангардом» в 2011 г. Ягр взял длительную паузу на поиски продолжения карьеры. Хотя Ягру в Омске предложили продлить контракт, ходили слухи о желании игрока вернуться в НХЛ. Интерес к игроку подтвердил «родной» для хоккеиста клуб «Питтсбург Пингвинз», предложивший 2 млн дол. за сезон. Неожиданно для многих, 1 июля 2011 г. Ягр подписал соглашение с другим клубом из Пенсильвании, принципиальным соперником «пингвинов» — Филадельфией Флайерз. В этом клубе отыграл пять сезонов защитником агент Ягра — Петр Свобода. Сумма контракта составила 3,3 млн дол, срок контракта — один сезон. КХЛ пожелала Яромиру успехов в новом клубе и поблагодарила «за великолепную игру и пропаганду хоккея на пространстве КХЛ в течение трёх лет, которые он выступал в команде „Авангард“».
Ягр отрицательно относится к коммунистам, чьи действия привели к подавлению Пражской весны 1968 года. При вводе войск ОВД в Чехословакию пострадали его родные. Именно в память тех событий Ягр играет под номером 68.
В интервью официальному сайту НХЛ Яромир Ягр сообщил: «Свитер с 68-м номером я ношу не из-за того, что плохо отношусь к русским. Нет, я взял 68-й номер из-за нелюбви к коммунистам. Это две разные вещи. Примерно то же самое у меня бы спрашивали, возьми я 45-й номер. Все бы думали, что это знак неуважения к немцам, которые начали вторую мировую войну, а это всего лишь мой протест против нацистов. Я взял 68-й номер из-за своего деда».