Детство Илья Гинцбург провел в Вильно, где на него обратил внимание скульптор М. Антокольский. С 1870 обучался в мастерской М. Антокольского в Санкт-Петербурге, сопровождал его в поездке по Италии. По возвращении поступил в реальное училище, затем (1878) — на скульптурное отделение Петербургской академии художеств, где учился у А. Р. фон Бока, Н. А. Лаверецкого и И.И. Подозерова. В 1886, за работу «Плач пророка Иеремии на развалинах Иерусалима», получил золотую медаль и звание Классного художника 1 степени. С 1918 — профессор-руководитель скульптурной мастерской петроградских Государственных свободных художественных мастерских. В 1921—1923 — декан скульптурного факультета Высших художественно-технических мастерских.
Создал памятники Н. В. Гоголю (в местечке Сорочинцы), И. К. Айвазовскому (в г. Феодосия), А. С. Пушкину в Екатеринославе. Автор надгробия В. В. Стасова (Музей городской скульптуры, Санкт-Петербург).
В советское время участвовал в осуществлении плана монументальной пропаганды, создав в Ленинграде памятники Г. В. Плеханову (перед зданием Технологического института в в соавторстве с М. Я. Харламовым) и Д. И. Менделееву.
Гинцбург известен и как мастер малой пластики (статуэтки И. И. Шишкина, В. В. Верещагина, И.Е. Репина, В. И. Сурикова, Л. Н. Толстого и других).
right|Илья Яковлевич Гинцбург
Памятник на могиле Стасова В.В. - скульптор И.Я. Гинцбург
Портрет Антокольского