Сын министра почт и телеграфов графа Ивана Матвеевича Толстого и Елизаветы Васильевны урождённой Тулиновой. Образование получил в Петербургском университете по юридическому факультету. С 1886 г. был членом Императорской археологической комиссии. В 1889 г. назначен конференц-секретарем Императорской Академии художеств, а в 1893 г. — ее вице-президентом. Принимал деятельное участие в составлении нового устава Академии и в коренном преобразовании ее. Способствовал основанию и устройству Русского музея в Петербурге. С 1885 по 1890 г. был секретарем Императорского Русского археологического общества, а с 1899 г. состоял помощником председателя этого общества. С 1900 г. состоял председателем Русского общества печатного дела.
С ноября 1905 г. по апрель 1906 г. состоял министром народного просвещения.
Вступив в управление министерством в ноябре 1905 года, граф И. И. Толстой полагал предоставить широкую свободу общественной и частной инициативе в деле среднего образования. По вопросу о типах и учебных планах средней школы министерство заявляло, что оно будет отстаивать принцип их эластичности и подвижности, отнюдь не стремясь к их подробной регламентации; для каждого типа предполагалось установить лишь общий минимальный уровень образования. Для нерусского населения имелось в виду предоставить право преподавать на родном языке учащихся все предметы, кроме русского языка и литературы, истории России и географии России, с тем, однако, условием, что в таких школах ни учащие, ни учащиеся никакими правами не должны пользоваться. Для упорядочения школьной жизни гр. И. И. Толстой предпринял следующие меры:
В целях успокоения школы было разрешено временно освобождать нервно возбужденных учеников от посещения классов; ради охранения учащихся от уличной толпы отменена обязательность верхней форменной одежды. Вследствие происходивших во многих местах перерывов в занятиях педагогическим советам предоставлено ходатайствовать о продлении учебного года за счет каникулярного времени и производить поверочные испытания из пройденного в течение учебного года. Отменено распоряжение о представлении выписок из кондуитов при прошениях о зачислении в студенты. Экстернам разрешено самим избирать учебное заведение, при котором они желали бы держать окончательные испытания. Из числа обязательных для экзаменов зрелости предметов, с весны 1906 года, исключен греческий язык в тех учебных заведениях, где он преподавался в качестве необязательного предмета. Окончившим курс гимназий или реальных училищ, желающим повысить свои отметки для поступления в высшие специальные учебные заведения, прием в которые производится по конкурсу аттестатов, разрешено подвергаться повторным испытаниям по всем, но не по отдельным предметам курса. На основании Высочайшего повеления от 18 марта 1906 г. окончившим курс реальных училищ разрешено поступать в университет по выдержании экзамена только по латинскому языку.
Активно занимался общественной деятельностью. В 1912 потерпел неудачу на выборах в Государственную думу, вскоре избран в Петербургскую городскую думу, стал городским головой Петербурга. Был председателем Российского общества по изучению еврейской жизни. В январе 1916 г. подал в отставку по состоянию здоровья, умер 20 мая 1916 года в имении графини Паниной в Гаспре. Похоронен на Никольском кладбище Александро-Невской лавры в Петрограде.
И. И. Толстой оставил воспоминания и дневник с яркими характеристиками императорских сановников и общественных деятелей, художников и учёных, с которыми Толстой близко общался или дружил. Записи относятся к последним десяти годам его жизни — он вёл дневник почти до самой кончины. По общему направлению его дневниковые записи близки к знаменитым мемуарам С. Ю. Витте и свидетельствуют о прогрессивных взглядах Толстого на многие стороны современной ему действительности.
Сын И. И. Толстого, также граф Иван Иванович Толстой (1880—1954) — филолог-классик, академик АН СССР