Ференци сначала изучал право и экономику, получил университетский диплом и только после этого занялся живописью. Он совершил путешествие в Италию, затем в 1887 году начал учиться в Академии Жюлиана в Париже. В 1889 году он переехал в Сентендре под Будапештом, где начал работать в натуралистической манере, напоминающей крайне популярного тогда во Франции Жюля Бастьена-Лепажа. С 1983 по 1986 год он с семьёй жил в Мюнхене, где познакомился с Шимоном Холлоши и его кругом. Вместе с Холлоши он переехал в Надьбанью и стал одной из ведущих фигур местной художественной колонии. В Надьбанье он уделял большое время пленэрной живописи. В 1903 году картины Ференци были выставлены в Будапеште и получили восторженные отзывы критики.
В 1906 году Ференци переехал в Будапешт, где получил место профессора в Школе рисования, предшественнице Художественного училища. При этом он проводил каждое лето в Надьбанье. Живопись Кароя Ференци будапештского периода проникнута символистическими декоративными мотивами, главной тематикой стало изображение обнажённой натуры.
Художник умер в Будапеште в 1917 году.
В Сентендре открыт музей Кароя Ференци.
Жена — Ольга Фиалка — художник, дети Валер Ференци (1885—1954) — художник; Ноэми Ференци (1890—1957) — мастер художественного текстиля; Бени Ференци (1890—1967) — скульптор.