Армянин, родился в Тавризе (Персия), в семье школьного учителя.
С 1903 года принимал участие в революционном движении. Член РСДРП с 1904 года.
Служил в царской армии в звании прапорщика. Во время Первой мировой войны добровольно отправился на фронт. Награждён двумя Георгиевскими крестами и одной медалью.
После Октябрьской революции вступил в РКП(б). Во время Гражданской войны во главе сформированных им частей вёл борьбу против белочехов и оренбургских казаков генерала Дутова. Командовал следующими частями и соединениями:
Во время советско-польской войны в 1920 году командовал 2-м кавалерийским корпусом, а с июля — 3-м кавалерийским корпусом, успешно действовавшим на Западном фронте. В августе 1920 3-й кавалерийский корпус отступая с войсками 4-й армии был интернирован в Восточной Пруссии.
В 1922 году наркомвоенмор Армении, затем занимался военно-педагогической и научной работой.
В 1924—1925 годах начальник военного гарнизона Минска.
В 1933—1935 годах профессор и начальник кафедры истории войн и военного искусства в Военно-воздушной академии имени Н. Е. Жуковского.
Был дважды награждён Орденом Красного Знамени: в 1918 году за боевые действия в районе Волги и в 1920 году за польскую компанию.
В июне 1935 года снят со всех постов, уволен из РККА, исключён из партии и 3 июля 1935 года был арестован по обвинению в «создании военно-фашистской организации в РККА». Это, по-видимому, был первый случай ареста красного командира пролетарского происхождения. 11 декабря 1937 года был приговорён Военным трибуналом Верховного Суда СССР (АП РФ, оп. 24, дело 413, лист 252) к высшей мере наказания и в тот же день расстрелян на Бутовском полигоне. Посмертно реабилитирован и восстановлен в партии 21 января 1956 года.
В Ереване его именем назван проспект, а также поставлен памятник. В Железнодорожном районе города Ульяновска в 1967 году его именем названа улица, ставшая проспектом, а также воздвигнут памятник. Имеются также улицы Гая в городах Гродно, Минск и Самара; и бульвар Гая в городе Тольятти. В центральной части г. Оренбурга в честь Г. Д. Гая названа улица, на которой установлен его бюст.
В 1963 году в его честь был назван речной пассажирский теплоход проекта 305 «Комдив Гай».
Гайк Бжишкян несколько раз упоминается в романе Хачика Даштенца «Зов пахарей», повествующем о партизанской борьбе армянских гайдуков против османских властей на рубеже XIX—XX веков.
Г. Д. Гай — персонаж фильма «Пыль под солнцем» (Литовская киностудия, 1977).