Ф. Я. Лютербург был сыном гравёра Филиппа Якоба Лютербурга Старшего, под руководством отца прошли его первые художественные занятия. Училая в Страсбургском университете. В 1764 году Лютербург-младший приезжает в Париж и становится там учеником Франческо Казановы, Шарля-Андре ван Лоо и Иоганна Генриха Тишбейна. Совершил путешествия по Италии, Германии и Швейцарии. При поддержке своих учителей Лютербург поступает в 1768 году в Королевскую академию живописи и скульптуры и позднее становится членом Художественной академии в Марселе. В 1771 голу Лютербург был приглашён актёром Дэвидом Гарриком в лондонский театр Друри-Лейн. Здесь полностью раскрывавется также его талант как театрального художника. В 1781 году Лютербург был принят членом в британскую Королевскую академию художеств.
Высоко ценятся и в наше время как живопись, так и графика художника, в том числе его крестьянская (6 листов), солдатская (12 листов) серии, серия «Времена года» (4 листа), а также отдельные гравюры с пейзажами, морскими сценами, изображениями животных, карикатуры и т. д.