Фаддей Бжозовский родился в 1749 году в Кёнигсберге, в семье польского происхождения. В 1765 году вступил в орден иезуитов. Образование получил в иезуитских колледжах в Слуцке (1767—1770) и Несвиже (1770—1773). После того, как в 1773 году Общество Иисуса было распущено, переехал в Вильнюс, изучал теологию. В 1775 году рукоположён во священники.
После того, как императрица Екатерина II отказалась публиковать в России буллу о роспуске иезуитов и разрешила их существование в Российской империи, Бжозовский переехал в Полоцк, где вновь вступил в ряды иезуитов. Занимался теологическими изысканиями, много переводил богословской литературы (кроме родного польского он свободно владел русским, немецким, французским и латынью). Получил известность как способный проповедник. Преподавал в Орше (1784—1785) и Полоцке (1785—1789); префект школы в Витебске (1789—1791). В 1797 году был назначен секретарём Общества, работал в тесном контакте с Габриэлем Ленкевичем, Франциском Каре и Габриэлем Грубером, которые с 1782 по 1805 год последовательно занимали пост генерального викария иезуитов в России.
В 1801 году папа Пий VII официально разрешил орден иезуитов на территории России, занимавший в этот момент пост генерального викария Франциск Каре получил право именоваться «генералом Общества Иисуса в России». В 1802 году Бжозовский был назначен помощником вновь избранного генерала Габриэля Грубера. После гибели последнего в 1805 году Бжозовский был избран генералом, в 1805—1815 годах проживал в резиденции ордена в Санкт-Петербурге.
К моменту его избрания Общество вело активную работу в России, в первую очередь в области образования (иезуитам принадлежало 7 колледжей), а общее число членов ордена составляло 333 человека. Под руководством Бжозовского Общество продолжило расширение своей деятельности, были основаны миссии в Моздоке (1806), Иркутске (1810) и Томске (1814). В 1812 году после ходатайств Бжозовского царь Александр I преобразовал иезуитский колледж в Полоцке в академию, которой даровал права университета.
Буллой от 7 августа 1814 года «Sollicitudo omnium ecclesiarum» папа Пий VII восстановил Общество Иисуса во всех его правах и привилегиях. Фаддей Бжозовский, таким образом, стал возглавлять не только иезуитов России, но и руководить всем восстановленным орденом, став его девятнадцатым генералом. Это вызвало охлаждение в отношениях между иезуитами и императорским двором, которое только усиливали жалобы православного духовенства на возросшее число обращений в католичество, которое связывали с деятельностью иезуитов. Как итог, 20 декабря 1815 года Александр I издал указ, согласно которому все иезуиты во главе с генералом высылались из Санкт-Петербурга, а самому Бжозовскому было запрещено покидать пределы России.
С 1815 по 1820 год жил в Полоцке. Фаддей Бжозовский скончался 5 февраля 1820 года, похоронен в Полоцке. Вскоре после его смерти иезуиты были изгнаны из России, орденские коллегии и академии упразднены, а имущество передано в казну. Преемником Бжозовского на посту генерала ордена стал итальянец Луиджи Фортис, избранный 18 октября 1820 года в Риме.