Родился 25 февраля (13 февраля по старому стилю) 1886 года в Москве.
В 1910 году окончил Московское училище живописи, ваяния и зодчества, затем совершенствовался в Париже.
С 1912 года работал в 1-й Студии МХТ и одновременно в МХТ. Оформлял спектакли Первой студии «Гибель „Надежды“» Гейерманса и «Праздник мира» Гауптмана (1913).
В 1913 был зачислен в МХТ художником, начинал как исполнитель декораций в спектаклях А. Бенуа, М. Добужинского, Б. Кустодиева.
В 1918 году после разрыва с М. Добужинским, К. С. Станиславский приглашает И. Я. Гремиславского для работы над пьесой А. Блока «Роза и Крест», где с помощью Гремиславского ищет универсальный принцип оформления: цветные сукна-гобелены, движущиеся параллельно рампе и по диагоналям сцены. В 1919—1922 годах в составе «качаловской группы» И. Я. Гремиславский проводит огромную работу по воссозданию оформления ряда спектаклей МХТ, с которыми группа гастролировала по югу России и Европе.
С 1926 года был заведующим постановочной частью МХАТа. Оформил здесь спектакли: «Сестры Жерар» Масса (1927, совм. с В. А. Симовыми А. В. Щусевым), «Мертвые души» (1932, совм. с В. А. Симовым и В. В. Дмитриевым), «Таланты и поклонники» (1933, совм. с Н. П. Крымовым), «Идеальный муж» Уайльда (1946), «Русский вопрос» (1947).
Гремиславсий перестроил деятельность постановочной части МХАТа, ввел новые формы работы художника и постановочной части. Преобразования, осуществленные им в этой области, способствовали перестройке постановочных частей других театров.
В 1942 году организовал и возглавил первую в СССР сценическую экспериментальную лабораторию при МХАТе, которая способствовала разработке новой технологии, собиранию и обобщению опыта театров, распространению в советском театре наиболее прогрессивных методов оформления спектакля. В 1943 году по инициативе Гремиславского был создан первый в СССР постановочный факультет при школе-студии им. И. Немировича-Данченко, готовящий художников-технологов сцены, заведующих постановочной частью. Г. руководил этим факультетом до 1954 года.
Преподавал также композицию на театральных отделениях Института им. Сурикова и Художественного училища «Имени 1905 года». Гремиславский — автор ряда трудов по вопросам теории и практики работы художника театра, технологии театральной живописи, организации работы постановочной части.
Его труды:
Умер в Москве 25 марта 1954 года.