Поллак родился 9 июля 1938 года, рос в Вудмере, Лонг Айленд в еврейской семье, владевшей бизнесом по производству женской одежды.
Закончил Принстонский университет в 1960 году. Защитил магистерскую диссертацию по ядерной физике в Калифорнийском университете в Беркли в 1962 году. Продолжил обучение в Гарвардском университете, где в 1965 году защитил докторскую диссертацию по астрофизике (работал под руководством Карла Сагана).
Одна из работ, выполненная Поллаком с коллективом сотрудников в 1996 году, посвящена формированию планет-гигантов. Теоретической основой статьи является так называемая модель аккреции ядра (core accretion), являющаяся в настоящее время стандартной объяснительной моделью развития газовых гигантов.
Всего в научной библиографии Поллака порядка 300 статей.
Поллак был открытым гомосексуалом. Сам он, однако, не придавал этому особого значения (поэтому многим, даже близким друзьям эта подробность долго оставалась не известной), и это не мешало его сотрудничеству ни с Саганом, ни с другими коллегами.
До самой смерти Поллак оставался сотрудником Эймсовского центра. 13 июня 1994 года, в возрасте 55 лет, ученый скончался от редкой формы рака спинного мозга.
В 2000 году вышла книга Кея Дэвидсона о жизни Карла Сагана с посвящением Джеймсу Поллаку.