Похоронен в родовом имении в селе Маково Михайловского р-на Рязанской области.
Окончил курс в Царскосельском лицее (1842). С 1848 г. состоял при Департаменте духовных дел иностранных исповеданий Министерства внутренних дел и занимался составлением истории иностранных исповеданий. В 1853 г. назначен директором канцелярии Морского министерства и в этом звании принимал участие в составлении хозяйственного устава Морского министерства и нового положения об управлении Морским ведомством. В 1861 г. некоторое время управлял Департаментом народного просвещения, затем был назначен сенатором.
В 1865 назначен обер-прокурором Святейшего Синода, в 1866 — министром народного просвещения и занимал оба эти поста до апреля 1880, когда был назначен членом Государственного Совета.
В мае 1882 занял пост министра внутренних дел и шефа жандармов и оставался на этом посту до самой смерти.
В качестве министра народного просвещения граф Толстой провёл реформу среднего образования (1871), заключавшуюся, по свидетельству авторитетного историка А. А. Корнилова, во введении в учебные программы больших объемов математики вместе со значительным усилением преподавания латинского и греческого языков в гимназиях, причём только воспитанникам классических гимназий было предоставлено право поступать в университет; бывшие реальные гимназии преобразованы в реальные училища (1872). В разработку идеологии этой реформы важнейший вклад внес известный публицист и профессор Императорского Московского университета М. Н. Катков. Одной из целей реформы ставилось развитие у учащихся умения основательно мыслить и, таким образом, воспрепятствование распространению поверхностных радикальных взглядов. С аналогичными целями (чтобы исключить необходимость поездок студентов в европейские университеты и, тем самым, воспрепятствовать распространению «революционной заразы» из Европы) предпринимались серьёзные усилия по созданию и надлежащему оснащению исследовательских лабораторий в российских университетах. Роль этой реформы в формировании дореволюционной российской системы гимназического образования вообще и российской математической традиции в частности, — а также личная роль графа Толстого в её проведении — остаётся недооценённой по идеологическим причинам: репутация твёрдого консерватора, которую он имел у «прогрессивной общественности» ещё при жизни, тем более не могла способствовать объективной оценке его деятельности в исторических исследованиях советского периода.
При Толстом были открыты:
В 1872 году издано положение о городских училищах, в 1874 — положение о начальных училищах, для надзора за которыми были ещё в 1869 году учреждены должности инспекторов народных училищ.
В духовном ведомстве при графе Толстом произведено преобразование духовно-учебных заведений (1867—1869).
Как министр внутренних дел, Толстой был поборником «сильной» власти. Законодательные меры, проведённые и подготовленные при нём, были направлены к возвышению дворянства, к регламентации крестьянского быта и к преобразованию местного управления и самоуправления в смысле расширения влияния администрации. Изданы законы о крестьянских семейных разделах и о найме сельских рабочих, подготовлены положение о земских начальниках и новое земское положение. Свобода печати существенно ограничена временными правилами 1882 года.
С 1882 года граф Д. А. Толстой состоял также президентом Императорской Академии наук.
Он написал «Историю финансовых учреждений России со времени основания государства до кончины императрицы Екатерины II» (СПб., 1848), «Le Catholicisme romain en Russie» (П., 1863—1864) и ряд статей по истории просвещения в России в «Журнале Министерства народного просвещения» и в «Русском архиве». По его инициативе предпринято издание «Материалов для истории Академии наук».
1882 — 25.04.1889 года — набережная реки Фонтанки, 16.
Жена: Софья Дмитриевна Бибикова, дочь Д. Г. Бибикова, министра внутренних дел (умерла в 1907 году).
Дети: