Учился в Ларинской гимназии, затем — на историко-филологическом факультете Петербургского университета, где круг его научных интересов определился влиянием В. Г. Васильевского. Уже в студенческие годы он написал сочинение «Римско-Византийское Государство в VI в., по законодательным сборникам христианских императоров». По окончании университета И. М. Гревс некоторое время (1884—1889) преподавал в гимназии Э. П. Шаффе. В 1889 году стал приват-доцентом в родном университете.
В 1890—1892 и 1894—1896 годах Гревс был командирован за границу. В библиотеках и семинариях Рима и Парижа он готовил большое исследование об экономической структуре и социальной психике переходного от республики к империи римского общества, части которого затем появлялись в «Журнале Министерства Народного Просвещения» . В это время созрели главные основы научного миросозерцания Гревса: вера в творческую, определяющую роль сознаний в глубине даже так называемого стихийного процесса истории и в непрерывную могучую жизненность культурной римской традиции. Эти идеи Гревс пропагандировал на своих профессорских курсах, которые он с 1892 года вёл на Высших женских (Бестужевских) курсах (1892—1918) и в университете (1903—1923, 1934—1941).
Распоряжением министра народного просвещения Н. П. Боголепова он был уволен от звания приват-доцента после студенческих волнений 1899 года. В 1900 году Гревс защитил магистерскую диссертацию «Очерки из истории римского землевладения, преимущественно во времена империи». Он много работал как член или председатель комиссий, организовавших ряд частных школ в Петербурге (Тенишевское училище, Коммерческое училище в Лесном); как преподаватель и председатель (в течение 18 лет) педагогического совета женской гимназии Л. С. Таганцевой; наконец, как преподаватель истории в Тенишевском училище и в Александровском лицее.
В 1901 году он был профессором в политехническом институте, в 1902 — возвратился в университет.
В качестве декана филологического факультета Бестужевских курсов он был одним из главных деятелей проведения семинарской организации и устройства семинарских библиотек. Гревс был сторонником больших исторических экскурсий, которые ценил и как орудие общего образования, и как «необходимый вид исторического семинария», в открываемой ими возможности «идти навстречу подлинным следам мировой культуры» . В 1921—1924 годах И. М. Гревс возглавлял Гуманитарный отдел Петроградского Экскурсионного института.
В 1920-е годы Гревс и его ученики подвергались нападкам за «идеализм». Потеряв работу в университете (1923), занимался литературным трудом, с 1925 года постоянно сотрудничал в Центральном бюро краеведения. Был связан с кружком «Воскресение». В 1930 году был ненадолго арестован.
Основные работы И. М. Гревса — труды по истории римского землевладения, средневековых культуры и быта.