Филипп (Фишл) Левензон родился в Оргееве (ныне райцентр Оргеевского района Молдовы) в 1893 году. В 1914—1917 годах — на фронте, участвовал в боевых действиях Первой мировой войны, был ранен. В 1917 году присоединился к левым эсерам, с 1918 года — член РКП(б). После Февральской революции 1917 года — член исполкома Кишинёвского Совета рабочих и солдатских депутатов, с сентября 1917 года — член Бессарабского губисполкома Советов рабочих и солдатских депутатов, с декабря 1917 года — комендант Кишинёвского гарнизона и член фронтоотдела Центрального исполнительного комитета Советов Румынского фронта, Черноморского флота и Одесской области (Румчерод) второго созыва. В 1918 году — член Революционного штаба советских общереспубликанских войск Бессарабского района, затем начальник штаба Тираспольского отряда Бессарабской ССР, военком Первой стрелковой бригады и, наконец, командир 133-й стрелковой бригады.
После Гражданской войны — на командных должностях в различных частях и соединениях Рабоче-крестьянской Красной Армии. В 1934—1936 годах — первый начальник строительно-квартирного управления Красной Армии в составе Наркомата обороны СССР. В конце 1936 года откомандирован в Приморскую группу войск Особой Краснознамённой Дальневосточной Армии (ОКДВА), назначен начальником её строительно-квартирного отдела.
С 1929 года — председатель Центрального совета Общества бессарабцев в СССР, редактор журнала «Красная Бессарабия». Награждён орденом Ленина и орденом Боевого Красного Знамени. 20 ноября 1935 года произведён в дивизионные комиссары.
Арестован 15 мая 1937 года, расстрелян 25 марта 1938 года (по другим данным — 31 июля 1937 года), реабилитирован 23 мая 1957 года.
Сын Ф. Я. Левензона — Григорий Филиппович Левензон — расстрелян 7 декабря 1937 года в Москве. В том же году жена Ф. Я. Левензона Фаня Яковлевна была осуждена как член семьи изменника Родины, а его младший брат Абрам Яковлевич расстрелян.