Родился 29 апреля 1864 года в Москве.
С 1881 года служил в Малом театре. С 1888 года работал с К. С. Станиславским в Обществе искусства и литературы, затем (с 1898 года и до конца жизни) — во МХАТе. По свидетельству К. С. Станиславского, "Якову Ивановичу Гремиславскому суждено было сыграть большую роль в театре и поставить свое искусство на ту высоту, которая заставила удивляться его работе Европу и Америку" (Станиславский К. С., Моя жизнь в искусстве, 1948, с. 56).
Гремиславский значительно реформировал технику грима, помогал актерам находить внешний облик персонажа, соответствующий внутреннему содержанию роли и общему решению спектакля. Он был первым гримером-художником, выступавшим творческим сотрудником режиссера и художника. Среди лучших работ Гремиславского — гримы к постановке пьес «Горе от ума», «Царь Федор Иоаннович» А. К. Толстого, пьес Чехова, Горького, Шекспира, виртуозный грим Анатемы-Качалова (оперного певца Андреева). В советское время: гримы к спектаклям «Бронепоезд 14-69», «Любовь Яровая», «Гроза», «Враги». Гремиславский подготовил группу гримеров-художников, работавших в театрах СССР.
Умер 22 июля 1941 года в Москве.