Родился в семье нотариуса — крещёного еврея Авраама Сильвестра. Позднее сделал к своей фамилии добавку «де Саси» — по моде на расширение фамилий, распространённой в среде паржиской буржуазии. Отец умер, когда ему было 7 лет, и в дальнейшем его воспитывала мать. В 1781 назначен советником монетного двора, а в 1791 — генеральным комиссаром монетного двора. Занялся изучением семитских и иранских языков; параллельно с основной работой изучал иранские надписи пехлевийского периода Сасанидской династии. В 1792 ушёл в отставку и поселился в уединении в своём имении около Парижа. В 1795 назначен профессором арабского языка в только что основанной Специальной школе живых восточных языков (?cole speciale des langues orientales vivantes).
Саси был полиглотом — среди языков, которыми он владел, были иврит, сирийский, самаритянский, халдейский, арабский, средне- и новоперсидский, османский, английский, немецкий, итальянский и испанский.
Опубликовал немало работ по грамматике арабского языка и мусульманской культуре, в частности:
С 1806 также занимал должность профессора персидского языка. С тех пор его слава среди лингвистов постоянно росла, за исключением кратковременной отставки во время Ста дней. С 1832 г. назначен Непременным секретарём Академии надписей, с 1808 — депутат Законодательного корпуса, с 1813 — барон, с 1832 — Пэр Франции. С 1815 — ректор Парижского университета.
Саси был учителем Жана-Франсуа Шампольона. Он был хорошо знаком с различными древними и средневековыми трудами по египетской иероглифике, авторами которых были Гораполлон, Ибн Вахшия, Атанасиус Кирхер и др., и одним из первых указал на необходимость привлечения материалов коптского языка для прочтения египетских надписей. Тем не менее, сам Саси потерпел неудачу при работе над дешифровкой египетских иероглифов, но вовремя сумел оценить новаторский подход своего ученика и всячески содействовал пропаганде дешифровки Шампольона. Однако ещё ранее, до открытия Шампольона, другой ученик Саси — шведский дипломат Давид Окерблад — сумел правильно распознать в демотической части Розеттского камня несколько десятков имён.