Яков Фихман родился в бессарабском уездном городке Бельцы в семье состоятельного арендатора Эле Фихмана и его жены Песи. Рано приучился к чтению и попал под влияние художественной литературы маскилим (просветителей) на иврите (М. И. Лебенсона, А. Мапу) и реалистов на идише (особенно И. Л. Переца). В 14 лет ушёл из дома, бродяжничал по городкам и весям соседних Херсонской и Подольской губерний, наконец осел в Кишинёве, где впервые получил доступ к крупной библиотеке и серьёзно занялся самообразованием, выучил русский и немецкий языки, освоил русскую литературу и подготовился к сдаче гимназических экзаменов экстерном.
В Кишинёве же Фихман начал писать стихи на иврите, идише и русском языке. В 1900 году в детском ивритском журнале «Ган Шаашуим» появляются его стихотворение «Шир Авив» (Песнь весны) и перевод лермонтовского «Когда волнуется желтеющая нива».
Из Кишинёва Фихман возвращается к родителям в Бельцы, погружается в традиционную еврейскую литературу. В 1901—1903 годах — в Одессе, где знакомится с Бяликом и С. Бен-Ционом; в 1903—1905 годах — в Варшаве, где уже по-настоящему регулярно публикуется в газетах на иврите «?аЦофэ» (Наблюдатель) и «?аОр» (Свет) и на идише в крупнейшей ежедневной газете «?айнт» (Сегодня); здесь же знакомится с И. Л. Перецем — в ту пору мэтром еврейской литературной жизни Варшавы.
В 1905 году вновь возвращается в Кишинёв, а после погрома того же года — переезжает в приграничное бессарабское местечко Леово (теперь райцентр Леовского района Молдовы), где тогда жил известный писатель Идл (Иегуда) Штейнберг. Через три года Фихман покидает Леово, короткое время живёт в Вильно, а ещё через год — в 1909 году — приезжает в Одессу, где помогает И. Х. Равницкому и Э. Л. Левинскому в подготовке четырёхтомного собрания сочинений на иврите только что умершего Иегуды Штейнберга.
Зимой 1909-10 годов — учится на педагогических курсах в Гродно, затем уезжает в Варшаву, где в том же году выходит его книжка для детей «Агадос вэШирим» (Сказания и стихи). В 1911 году там же появляются составленный и прокомментированный им сборник песен на идише «Ди Идише Музэ» (Еврейская Муза) и первый сборник стихотворений на иврите «Гиволим» (Стебли). В 1912 году уезжает в Палестину, где некоторое время редактирует детский журнал «Моледет» (Родина) и всё больше увлекается литературой для детей и юношества.
В 1913 году в Варшаве выходит составленная им хрестоматия детской литературы на идише «Фар Шул Ун Фолк» (Для школы и народа) и второе, расширенное издание еврейских народных песен «Ди Идише Музэ» (издательство Вэлт-Библиотэк). Вскоре перебирается в Берлин, а с началом Первой мировой войны — вновь в Одессу, где работает в издательстве Бялика и Равницкого «Мория» на Большой Арнаутской улице. В 1915 году издаёт учебник на иврите «Швилим» (Пути: Иллюстрированная хрестоматия для 4-ого года обучения), а в 1919 году сборник эссеистики «Бавуот» (Размышления).
В конце того же года уже навсегда оставляет ставшую к тому времени советской Россию, отчаливает пароходом «Руслан» из Одессы и через несколько дней сходит на берег в средиземноморском порту Яффа. Возобновляет издание журнала «Моледет», переводит на иврит Леонида Андреева, редактирует детское приложение к газете «?аАрец», но уже в 1921 году вновь уезжает в Варшаву. Здесь сотрудничает с журналом на иврите «?аТкуфа» (Эпоха) и газетой на идише «Ди Идише Вэлт» (Еврейский мир), выпускает хрестоматию детской литературы на иврите «Лашон ваСэфэр» (Язык и книга) и книгу прозы для юношества на идише «Шабэс Ин Валд» (Суббота в лесу, 1924). В 1924-25 годах — в Кишинёве, работает в редакции издаваемой Золмэном Розенталем газеты «Ундзэр Цайт» (Наше время, идиш), много печатается на идише.
С 1925 года и до конца жизни — в Палестине, сотрудничает с самыми разными ивритскими изданиями подмандатной Палестины и идишской периодикой Польши, с 1936 по 1942 год редактирует журнал «Мознаим» — официальный орган союза ивритских писателей страны, а с 1942 года и до конца жизни ведёт постоянную рубрику в литературном приложении к ежедневной газете «Давар» (Слово).
В эти годы Фихман перерабатывает ряд своих собственных, написанных в ашкеназском произношении стихотворений, адаптируя их ритмику к новому, базирующемуся на сефардском, произношению поселенцев. Один за другим выходят сборники «Сэфэр ?аЭрэц» (Книга земли; проза, 1927), «Мин ?аТэнэ» (Из корзины; стихи и проза, 1932), «Йемей Шемэш» (Солнечные дни; поэмы, 1934), «Целалим Ал ?аСадот» (Тени на полях, стихи, 1935), «Авив баШомрон» (Весна в Самарии; стихи, 1943), «Пеат ?аСадэ» (Край поля; стихи, 1945), «Демуйот Кедумим» (Образы прошлого, проза и поэзия, 1948), "Селаим б’Ерушалаим " (Скалы в Иерусалиме; стихи и проза, 1951), 18 книг для детей и юношества, 9 книг очерков об еврейских писателях (Бялике, Мапу, писателях Польши, Одессы и других), сборник «Бессарабия» (1941, вместе с Хаимом Шорером, иллюстрации Нахума Гутмана), стихотворные и прозаические переводы с немецкого (Гейне, Гёте, К. Хеббеля, Гессе, Е. П. Якобсена), русского (Блок, Лермонтов), французского (Франс, Бодлер). В 1951 году совместно с К. А. Бертини и Б.И. Михали подготовил к печати второй том посмертного собрания сочинений бессарабского писателя М. Гольденберга «?аТахана ?аАтика» (Древняя станция). Посмертно изданы собрания стихотворений и мемуары писателя.
Продолжал Фихман писать и на идише. В 1949 году он стал одним из основателей редактируемого Авромом Суцкевером квартальника «Ди Голдэнэ Кейт» (Золотая цепочка) — главного литературного издания страны на идише. Первый же номер журнала открывается программной статьёй Фихмана «Между ивритом и идишем», в которой он среди прочего возглашает: «Позорно и не поддаётся разумению, что пишущие на иврите поэты знают столь немного о своих пишущих на идише коллегах и что ивритская пресса уделяет столь мало внимания обзору литературного творчества на идише». Одной из основных целей нового издания на идише Фихман видит восполнение и исправление этого пробела, сближение еврейских литераторов пишущих на двух еврейских языках. В 1953 году в Буэнос-Айресe выходит большой том избранных воспоминаний, эссе и стихотворений Фихмана на идише «Рэйгнбойгн» (Радуга), подготовленный автором и изданный аргентинским объединением выходцев из Бессарабии.
Именем Фихмана названы улицы в разных городах Израиля. С 1964 года бессарабским землячеством страны присуждается ежегодная премия им. Якова Фихмана в области литературы и искусства, среди лауреатов которой писатели Меер Харац, Ихил Шрайбман, Янкл Якир, Борис Сандлер, художник Нахум Гутман и другие.