Яков Гандзюк родился в 1873 году в Подольской губернии в крестьянской семье отставного бомбардира. Закончил 5 классов Винницкого реального училища.
5 ноября 1891 года Яков Гандзюк поступил на службу рядовым на правах вольноопределяющегося 2 разряда в 47-й пехотный Украинский Его Императорского Высочества Великого Князя Владимира Александровича полк. Через год, 4 октября 1892 года произведён в ефрейторы, а затем, 17 декабря того же года, в младшие унтер-офицеры.
6 сентября 1893 года, выдержав экзамен, Яков поступил в младший класс Одесского пехотного юнкерского училища, которое закончил 26 июля 1895 года по 2 разряду, с произведением в подпрапорщики в 61-й пехотный Владимирский полк. В следующем году 24 декабря Я. Гандзюк произведён в подпоручики, а 1 мая 1901 года — в поручики. С 5 февраля 1901 по 3 июня 1903 года был адъютантом 1-го батальона.
13 марта 1904 года Яков Гандзюк был переведён в 6-й Восточно-Сибирский стрелковый полк. С 18 по 21 мая он временно командовал 11-й ротой. 18 ноября был назначен исправляющим должность (исполняющим обязанности) заведующего хозяйством 3-го батальона. 17 декабря участвовал в бою у деревни Линшингоу. На следующий день был прикомандирован к 12-му пехотному Великолуцкому полку. Участвовал в боях у деревни Ламатунь (19 декабря), у деревни Кудяза на правом берегу реки Хуньхэ (23 декабря), к северу от Синминтина (3 января 1905 года).
С 9 по 28 января 1905 года временно командовал 15-й ротой. С 29 января 1905 года был назначен командующим 1-й ротой. С 12 по 25 февраля участвовал в сражении под Мукденом. Со 2 по 9 марта — при отступлении от города Телина на Сыпингайские позиции. 12 марта 1905 года Яков Григорьевич был произведен в штабс-капитаны. 26 августа назначен исправляющим должность смотрителя подвижного госпиталя №25.
23 января 1906 года Яков Гандзюк был переведён в 12-й пехотный Великолуцкий полк с назначением командующим 4-й ротой. 20 февраля он выехал из Маньчжурии в Россию, куда прибыл 11 марта. С 3 апреля по 30 августа временно командовал 1-й ротой, а с 30 августа был назначен младшим офицером этой роты. 14 сентября он был прикомандирован к нестроевой роте, с 26 октября назначен её командиром.
20 октября 1908 года Я. Гандзюк был переведён в 177-й пехотный Изборский полк, где временно командовал ротами: 11-й — с 11 по 18 ноября, 1-й — с 4 января по 3 февраля 1909 года, 6-й — с 23 февраля по 4 марта и 3-й — с 4 марта. 25 апреля 1909 года Яков Григорьевич был командирован на окружные штабс-капитанские стрелковые курсы при Двинском лагере, которые успешно окончил 22 сентября. С 18 июля по 8 ноября он снова временно командовал 3-й ротой 177-го пехотного Изборского полка. С 8 ноября 1909 года по 28 февраля 1910 года был начальником полковой команды разведчиков. 28 февраля 1910 года назначен временно командующим 8-й ротой, а 15 апреля — утверждён в должности ротного командира. 2 ноября снова назначен начальником команды разведчиков.
Высочайшим указом Правительствующему Сенату №1800 от 4 июня 1911 года Яков Григорьевич Гандзюк был утверждён с семейством в потомственном дворянском достоинстве Российской империи.
15 июня 1912 года он был переведён на службу в 180-й пехотный Виндавский полк и через три дня, 18 июня, произведён в капитаны. По прибытии в полк 7 июля 1912 года, назначен командиром 4-й роты. С 24 августа по 26 сентября 1912 года командовал 4-й ротой запасных нижних чинов, отбывающих учебный сбор. 24 февраля 1914 года Я. Г. Гандзюк произведён в подполковники.
27 февраля 1914 года Яков Гандзюк был переведён в 147-й пехотный Самарский полк и назначен 1 апреля командиром 2-го батальона. 12 августа Я. Гандзюк выступил с полком в поход. Он участвовал во многих боях и перестрелках. 15 октября в бою у деревни Павловице был ранен и контужен шрапнелью в правую часть туловища. 5 января 1915 года за боевые отличия произведён в полковники.
12 марта 1915 года Яков Григорьевич был назначен командиром 1-го батальона 147-го пехотного Самарского полка. 1 апреля в бою у деревни Козиово (Козювка) он был ранен в кисть левой руки пулей навылет с повреждением сустава безымянного пальца и контужен в правую ногу. 17 апреля назначен командиром 4-го батальона Самарского полка, а 6 июня — 3-го. 26 июня в бою у деревни Жуков на реке Золотая Липа был контужен камнем от разорвавшегося снаряда в мизинец правой руки. С 16 июля по 30 августа и с 8 по 30 ноября временно командовал Самарским полком. С 9 по 28 декабря временно командовал 146-м пехотным Царицынским полком.
11 января 1916 года Я. Гандзюк был назначен командиром 91-го пехотного Двинского полка. 22 сентября в бою у деревни Жолнувка был контужен тяжёлым артиллерийским снарядом. По выздоровлении, 3 декабря, вернулся в полк. Всего же за время войны Яков Григорьевич был ранен девять раз.
17 апреля 1917 года — назначен бригадным командиром 23-й пехотной дивизии. 6 июня Яков Гандзюк был произведён в генерал-майоры. 30 июня был назначен начальником 104-й пехотной (позже стала Первой Украинской) дивизии в составе 34-го армейского корпуса под командованием генерал-лейтенанта П. Скоропадского.
После выхода Скоропадского в отставку в декабре 1917, занял должность командира 1-го Украинского корпуса. Согласно аттестата № 321 от 15 января 1918 года, был начальником 1-й Украинской пешей казацкой дивизии.
В конце января 1918 год а вместе с начальником штаба корпуса генерал-майором Я. Сафоновым прибыл в Киев для совещания в Генеральном секретариате Центральной Рады УНР. 25 января 1918 года был захвачен в плен и, после отказа перейти на сторону большевиков, расстрелян (на теле найдено 12 штыковых ран).
Летом в 1918 года тело генерала нашли в общей могиле на одном из кладбищ и перезахоронили с воинскими почестями на кладбище Выдубицкого монастыря в Киеве. В 1950-е годы его могила была уничтожена, восстановлена в 1990-х в виде памятника с изображением скрещенных сабель с надписью: «Нет больше той любови, как если кто положит душу свою за своих друзей».
Жена — дочь действительного статского советника Вера Александровна Чудинова. Сын — Георгий (р. 27 августа 1910).