Яаков Неэман родился 16 сентября 1939 года в Тель-Авиве, в семье Менахема и Малки Неэман. Проходил армейскую службу в Голани, капитан запаса. После демобилизации поступает в Иерусалимский университет на юридический факультет. Неэман с отличием заканчивает учёбу и на следующий год (1965) поступает в Нью-Йоркский университет, там же в 1969 г., получает учёную степень доктора юриспруденции.
В 1971—1976 гг., Неэман преподаёт в Бар-Иланском университете, в 1976 г. — в Калифорнийском университете. В 1972 году, Неэман с компаньонами создаёт адвокатскую фирму «Херцог, Фукс, Неэман». В 1974—1977 гг., входит в Совет директоров ипотечного банка «Тфахот». В 1979 году, Неэман назначен на пост Генерального директора министерства финансов Израиля. Одновременно с этим, Яаков Неэман входит в Совет директоров компаний El Al и IAI.
В июне 1996 года, Яаков Неэман назначен на пост министра юстиции в первом правительстве Биньямина Нетаньяху. В тот же день израильский журналист Йоав Ицхак подаёт судебный иск против этого назначения. На следующий день, юридический советник правительства Михаэль Бен Яир отдаёт распоряжение о полицейской проверке дела Неэмана. 8 августа 1996 года, полиция начинает расследование по подозрению Яакова Неэмана в лжесвидетельстве. В тот же день Неэман подаёт в отставку. В мае 1997 г., суд снимает все обвинения с Неэмана и 9 июля того же года он назначается на пост министра финансов Израиля. Будучи последователем жёсткой монетарной политики, Неэман подвергался критике со стороны других министров правительства. В 1998 году, Неэман подаёт в отставку и возвращается к адвокатской практике.
После выборов в Кнессет 18-го созыва, Неэман принимает предложение Нетаньяху занять пост министра юстиции.