Родился 25 февраля (10 марта) 1914 года в селе Хндзореск гориского района Армении(ныне марз Сюник) в семье крестьянина. С семьей переехал в Туркмению, получил неполное среднее образование. Работал заведующим магазином в городе Кушка Марыйской области Туркменской ССР.
В 1936 году Самаркандским районным военным комиссариатом призван в ряды Краной армии.
В 1939 году в военном кавалерийском училище окончил курсы младших лейтенантов. В 1940 году втупил в ВКП(б).
В боях Великой Отечественной войны — с июня 1941 года, назначен командиром эскадрона 54-го гвардейского кавалерийского полка 14-й гвардейской кавалерийской дивизии 7-го гвардейского кавалерийского корпуса 61-й армии Центрального фронта. Воевал на Западном, Сталинградском,Юго-Западном и Центральном фронтах.Эскадрон молодого лейтенанта не раз демонстрировал свою храбрость и отвагу, с наилучшей стороны проявил себя эскадрон в битвах за Украину.
21 сентября 1943 года недалеко от села Великий Дырчин на Черниговщине сабельный эскадрон 54-го гвардейского кавалерийского полка с ходу форсировал реку Снов и продвигался к селу Куликово — опорному пункту противника на пути к Днепру. Однако вскоре ожесточённый миномётный огонь остановил конников. Тогда командир эскадрона гвардии лейтенант Арзуманов послал один из взводов прикрыть переправу, а остальные взводы увёл в укрытие. С наблюдательного пункта находившегося недалеко от места форсирования, Арзуманов увидел, что гитлеровцы, численностью до роты, перебежками направляются к высоте, чтобы атаковать взвод. Оценив обстановку гвардии лейтенант решил нанести упреждающий удар с фланга, в результате стремительной атаки немцы ретировались.
22 сентября 1943 года командир эскадрона 54-го гвардейского кавалерийского полка гвардии лейтенант Г. М. Арзуманов в бою за посёлок Куликовка Черниговской области умело управлял боевыми действиями своего подразделения. Отбивая контратаки противника, был тяжело ранен, но продолжал командовать. Эскадрон выполнил свою боевую задачу. В этом бою пал смертью храбрых молодой гваридии лейтенант.
Похоронен на Украине в селе Макишин Городнянского района Черниговской области.
Указом Президиума Верховного Совета СССР от 15 января 1944 года за образцовое выполнение боевых заданий командования и проявленные при этом мужество и героизм гвардии лейтенанту Гургену Мерзаевичу Арзуманову посмертно присвоено звание Героя Советского Союза.
Бронзовый бюст Героя установлен на его могиле. Именем Героя названа улица в селе Макишин