Родился 26 августа 1859 года в станице Незамаевской Кубанской области, происходил из кубанских казаков. Начальное образование получил в Кубанской классической гимназии. В военную службу вступил 12 апреля 1874 года. В 1877 году окончил Ставропольское казачье юнкерское училище, из которого выпущен в 1-й Уманский полк Кубанского казачьего войска.
Позже служил в 1-м Полтавском полку, в рядах которого принимал участие в русско-турецкой войне 1877—1878 годов. За отличие 16 апреля 1878 года был произведён в хорунжие. По окончании военных действий вернулся на Кубань и 1 мая 1879 года вышел в отставку.
4 января 1887 года вновь вернулся на службу с прежним чином и был зачислен младшим офицером Ставропольского казачьего юнкерского училища. 19 декабря 1889 года произведён в сотники. Пройдя курс наук в Николаевской академии Генерального штаба Гулыга был выпущен из неё по 1-му разряду и 1 июня 1899 года произведён в подъесаулы, а на следующий день был переименован в капитаны с зачислением по Генеральному штабу.
26 ноября 1899 года Гулыга был назначен старшим адъютантом штаба 2-й Кавказской казачьей дивизии, на каковой должности находился до 31 января 1904 года, причём 6 декабря 1903 года был произведён в подполковники. С 17 октября 1901 года по 19 октября 1902 года он отбывал цензовое командование ротой в 263-м пехотном резервном Новобаязетском полку.
Назначенный старшим адъютантом штаба Приамурского военного округа Гулыга по прибытии к месту службы принял непосредственное участие в военных действиях против Японии и был последовательно начальником штаба Уссурийского отряда и командиром сформированного из китайских добровольцев Хунчунского пехотного полка. За отличия в боях был награждён орденом св. Анны 2-й степени. Также за боевые отличия он 17 июня 1906 года был произведён в полковники и назначен командиром 15-го Сибирского стрелкового полка
С 28 марта 1912 года Гулыга вновь оказался на Кубани, где был назначен атаманом Кавказского отдела Кубанского казачьего войска и 6 декабря того же года получил чин генерал-майора.
Вскоре после начала Первой мировой войны Гулыга 30 июля 1914 года был назначен начальником 2-й Кубанской пластунской бригады, а с 3 февраля 1915 года командовал 1-й Кубанской пластунской бригадой. Высочайшим приказом от 7 января 1916 года Гулыга за отличие в Сарыкамышской операции был награждён Георгиевским оружием, а 26 января он получил орден св. Анны 1-й степени с мечами.
В апреле 1916 года Гулыга со своей бригадой участвовал в морской десантной высадке в Ризе, откуда совершил бросок к Трапезунду. За отличие в этой операции он 4 августа получил мечи к ордену св. Владимира 3-й степени и 21 декабря орден св. Владимира 2-й степени с мечами.
Произведённый 1 октября 1917 года в генерал-лейтенанты Гулыга тогда же был назначен командиром начавшегося формироваться Кубанско-Терского пластунского корпуса. Пользовавшийся большим авторитетом на Кубани Гулыга сразу же выступил против большевиков. В феврале 1918 года он был среди претендентов на пост командующего войсками Кубанского края, но его кандидатура была отвергнута Кубанской радой. Однако в марте после отказа генерала Букретова от этой должности, Гулыга всё же был назначен на этот пост. Гулыга считался сторонником объединения усилий всех сторон в борьбе с большевиками и активно противился кубанскому сепаратизму. С мая 1919 года он был командиром 8-й Донской дивизии 3-го Донского корпуса Донской армии. В феврале 1920 года назначен командиром Пластунского корпуса Кубанской армии.
После разгрома Белого движения на юге России Гулыга эмигрировал в Югославию, активно участвовал в деятельности белоэмигрантских организаций, был членом Общества офицеров Генерального штаба. Скончался 2 июня 1934 года в Белой Церкви (Югославия).