Сын министра просвещения графа И. И. Толстого.
Окончил историко-филологическую гимназию и Петербургский университет в 1903, преподавал там с 1908, с 1918 профессор.
В начале революции И. И. Толстой подарил Государственному Эрмитажу свою нумизматическую коллекцию.
В 1930-е арестовывался по сфабрикованному «золотому делу» группы ленинградских эллинистов АБДЕМ. Сидел в тесной камере, где кормили селёдкой и не давали пить. Эта пытка называлась «парилка» — от арестантов добивались сдачи золота, которое по мнению следователей у них было.
Чл.-корр. АН СССР с 1939, академик АН СССР с 1946.
В исследовании эпоса активно привлекал фольклорные параллели, изучал язык греческих надписей Северного Причерноморья.