Родился 13 марта 1985 года в Калифорнии. Отец — промышленный консультант, мать — художник, дизайнер книжек-раскладушек. Вырос в Лос-Анджелесе (Калифорния) и в Санта-Фе (Нью-Мексико), где он жил с матерью, когда его родители развелись.
Начал актёрскую карьеру в восемь лет. Первоначально играл небольшие роли в сериалах и телешоу, таких как «Сабрина — маленькая ведьма», «Клан» и «Полиция Нью-Йорка». Дебютировал в кино в 2002 году в драме взросления «Опасные игры», в которой Хирш вместе с Кираном Калкиным играли двух друзей, учащихся в католической школе в 1970-е. Следующий фильм Хирша — школьная драма «Императорский клуб» (2002), где он сыграл сына сенатора, пытавшегося избраться в школьный «императорский клуб» с помощью шпаргалки. Оба фильма были тепло встречены критиками (реакция на «Императорский клуб» была смешанной), но показали слабые результаты в прокате.В 2006 году сыграл наркоторговца Джони Трулава в фильме «Альфа Дог».
В 2008 году сыграл главную роль в фильме братьев Вачовски «Спиди-гонщик», а также в фильме «Харви Милк» сыграл Клива Джонса.