Родился в Одессе, в еврейской семье бакалейщика Михаила Бергера и бывшей революционерки Этли Кременицкой. Яков Бергер утверждал, что он кузен известного физика Георгия Гамова и некого Анатолия, участника группы, приводившей в исполнение приказ о расстреле царской семьи в Екатеринбурге.
Яков Бергер был одаренным ребенком, в четырёхлетнем возрасте мог легко читать на русском, французском и еврейском языках. Он обладал навыками скорочтения, прочитывая от 4 до 10 книг за день. Никогда не посещал школу, занимаясь с учителями частным образом.
В 1920 году, из-за погромов в Гражданскую войну семья Бергеров была вынуждена уехать из Одессы в Кременец, на родину Этли. Яков стал посещать еврейскую школу и был в восторге от изучения каббалы. Помимо этого изучал математику, физику, немецкий и английский языки. Он перечитывал все, что мог достать, но особенно его увлекала научная фантастика.
В 1925 году семья переезжает во Францию. Яков Бергер оканчивает лицей Сен-Луи и Высшую химическую школу в Париже. В 1936 г. становится ассистентом физика Андре Хельбронера, который был убит гестаповцами в конце Второй мировой войны. Они совместно занимались исследованиями торможения электронов в тяжёлой воде. Работая в области ядерных исследований, Бержье всё глубже погружается в мир мистики и алхимии. Позднее он заявил, что в 1937 г. встретился с Фулканелли, и якобы совершил алхимическое превращение натрия в бериллий.
Во время Второй Мировой войны участвовал в движении Сопротивления в Лионе. Благодаря работе подразделения, где служил Бержье, удалось выяснить координаты немецкого ракетного центра в Пенемюнде и произвести его бомбардировку в 1943 г. 23 ноября 1943 г. он был арестован Гестапо и подвергнут пыткам. С марта 1944 г. — узник концлагеря Маутхаузен. Освобождён союзниками в феврале 1945 г.
После освобождения стал работать в Direction g?n?rale des ?tudes et recherches — спецслужбе, занятой поисками ядерных технологий в Германии, где работал большую часть 1945 г. Им удалось захватить выдающегося авиаконструктора Вилли Мессершмита и готовые ракеты Фау-1 и Фау-2. Поскольку Бержье работал в английской контрразведке, он общался с Яном Флемингом, и даже утверждал, что дал ему образ Джеймса Бонда.
После 1950 г. Бержье решил сменить род деятельности, став французским корреспондентом журнала фантастики Weird Tales и предложил издателю Роберу Лафону издать серию французских переводов фантастической литературы. Проект провалился. В 1954 г. он познакомился с Луи Повэлем, в соавторстве с которым в 1960 г. издал свою главную работу — «Утро магов». С 1961 г. издавал журнал «Планета» (совместно с Повэлем и Франсуа Ришардье).
В 1955 г. Бержье перевёл на французский язык «Книгу проклятых» — главный труд американского писателя Чарльза Форта.