Сын саксонского курфюрста Фридриха Августа II (короля Польши под именем Августа III) и его жены Марии Жозефы Австрийской.
Во время Семилетней войны командовал французским отрядом.
В 1762 году основал фрейбергскую горную академию.
В 1763 году, после смерти старшего брата, курфюрста Саксонии Фридриха Кристиана, совместно с вдовой последнего Марией Антонией Баварской стал регентом при малолетнем наследнике Фридрихе Августе до 1768 года. В 1765 году ввёл в Саксонии разведение мериносов. В 1765 году он окончательно отказался от притязаний на польскую корону в пользу Станислава Августа Понятовского.
В 1765 году в Дрездене Франц Ксавер вступил в морганатический брак с итальянской графиней Марией Кларой Спинуччи, бывшей придворной дамой. Брак держался в секрете до 1777 года, после чего был официально объявлен и признан. Его жена была пожалована титулом графини Лаузиц. После свадьбы супруги уехали во Францию. С началом Великой французской революции перебрались в Рим, а потом вернулись в Саксонию.
От их союза родилось десять детей, однако выжило всего семеро:
Th?venot написал его биографию и приложил её к изданной им «Correspondance in?dite du prince Fran?ois-Xavier» (П., 1874).