Родился 10 октября 1903 года в городе Нахичевани в семье служащего. Окончил городскую школу и в 1920 году в семнадцатилетнем возрасте вступил в ряды Красной Армии. Окончил Ереванское военное училище им. Ал. Мясникяна и поступил на службу в Армянскую горнострелковую дивизию, где служил до 1935 года и дослужился до ответственных должностей.
В 1938 году Тер-Гаспарян с отличием окончил Академию им. Фрунзе в Москве и был направлен на службу на Дальний Восток в качестве начальника штаба одной из дивизий.
55-я Курская стрелковая дивизия им. К. Е. Ворошилова, начальником штаба которой был подполковник Тер-Гаспарян, участвовала в войне с первых дней. Первый бой она приняла на Слуцком направлении в Беларуси 24 июня 1941 года. После того как 25 июня погиб командир дивизии полковник Иванюк, в командование дивизией вступил начальник штаба дивизии Тер-Гаспарян (официально назначен командиром дивизии 14 июля 1941 года). Награждён орденом Красного Знамени.
55-я стрелковая дивизия действовала в составе 4-й и 13-й армий Западного, затем Центрального, Брянского и Юго-Западного фронтов, оказалась в Киевском «котле» и была разгромлена.
2 октября 1941 года полковник Тер-Гаспарян был назначен командиром 227-й стрелковой дивизии.
В 1942 году дивизия Тер-Гаспаряна участвовала в Харьковской операции. За успешные действия в боях летом 1942 года Тер-Гаспаряну было присвоено звание генерал-майора и он был назначен на должность начальника штаба 60-й армии, действующей в районе Сталинграда.
В январе 1943 года Тер-Гаспарян назначается начальником штаба одной из армий Воронежского фронта, участвует в уничтожении крупной немецкой группировки, в форсировании реки Десны, за что получает орден Суворова 2-й степени. 17 октября за форсирование Днепра выше Киева он получает орден Суворова 1-й степени. К окончанию войны армия прошла путь до Нижней Силезии, форсировав Вислу, Западный Буг, Одер.
В 1945 году, после окончания войны генерал-майор Тер-Гаспарян был назначен начальником штаба, первым заместителем командующего войсками Киевского военного округа. Постановлением Совета Министров СССР № 1880 от 11 мая 1949 года ему было присвоено воинское звание генерал-лейтенанта. Трижды избирался депутатом Верховного Совета Украины.
31 августа 1949 года Геворк Андреевич Тер-Гаспарян скончался после продолжительной болезни, был похоронен на Новодевичьем кладбище в Москве.