Федор Андреевич Толстой родился 27 декабря 1758 года в семье графа Андрея Ивановича Толстого (1721—1803) и княжны Александры Ивановны Щетининой (1727—1811). Дослужился до чина тайного советника, в конце жизни стал сенатором. Будучи из многодетной семьи мелкопоместных дворян, граф не мог рассчитывать на хорошее наследство, но разбогател благодаря браку со Степанидой Алексеевной Дурасовой. Её приданое он вложил в постройку усадьбы Ивановское, где был оборудован домашний театр. Ивановское расположилось на землях будущего города Подольска, на берегу реки Пахры. Толстой дожил до глубокой старости и умер в возрасте 90 лет.
Ф. А. Толстой вписал своё имя в историю как библиофил, член Общества любителей российской словесности. Собрание графа Толстого включало в себя:
Библиотекарем в библиотеке Ф. А. Толстого трудился археограф Павел Строев (1796—1876), который в 1829 г. издал «Описание старопечатных книг графа Ф. А. Толстого». Большая часть собрания Толстого хранится в БАН, хотя некоторые рукописи попали в фонды Императорской публичной библиотеки. В 1830 году для Публичной библиотеки было куплено собрание, принадлежавшее графу Ф. А. Толстому и насчитывающее 1302 древнерусские рукописи.