Ф.Скарбина родился в семье ювелира, выходца из Загреба. В 1865—1869 годах учился в берлинской Академии изобразительного искусства. В 1869 году он открывает первое собственное художественное ателье в Берлине. В 1869-71 годах работает домашним учителем, затем совершает путешествие в Дрезден, Вену, Венецию, Мюнхен, Нюрнберг и Мерано. В 1877 году уезжает на учёбу в Голландию, Бельгию и Францию. В Париже художник подпадает под влияние импрессионистов и рисует в этом стиле сцены из жизни большого города, салонов и ресторанов, делает пляжные зарисовки.
В 1878 году Ф.Скарбина работает преподавателем в берлинской Академии, с 1881 руководит отделением анатомического рисунка в школе при Музее прикладного искусства Берлина. С 1882 по 1886 год живёт преимущественно в Париже; с 1883 года выставляет свои картины в Парижском салоне. В этот период Ф.Скарбина создаёт наибольшее количество своих произведений. В это же время совершает поездки в Северную Африку, Бельгию и Голландию.
С 1888 года Ф.Скарбина — профессор в Академии изобразительного искусства. В 1889 он участвует в художественной выставке, посвящённой столетию Французской революции. В 1892 году становится членом Академии художеств, в 1904 избирается в её сенат.
В 1892 году Ф.Скарбина, совместно с Вальтером Лейстиковым и Максом Либерманом, создаёт берлинскую художественную группу «Одиннадцать». В 1893 году он оставляет преподавание и снова уезжает во Францию и Голландию. В 1898 году Ф.Скарбина становится одним из основателей движения Берлинский сецессион. В 1902 году он возвращается в «Союз берлинских художников».