Родился в семье, в которой ценили домашнее музицирование и оперное искусство. В бакинском доме Тертерянов, будучи в эвакуации, играл на рояле С. С. Прокофьев. Брат — Герман Тертерян — стал оперным дирижером. Музыкальное образование получил в Бакинском музыкальном училище (1948—1951) и Ереванской консерватории (1952—1957). где занимался в классе Э. М. Мирзояна, у которого совершенствовался и в аспирантуре (1963—1967). В 1960—1963 — секретарь Союза композиторов Армении, в 1963—1965 — заместитель председателя. В 1970—1974 годах работал в Министерстве культуры Армянской ССР. С 1970 преподавал в Ереванской консерватории. С 1983 г. профессор. Заслуженный деятель искусств Арм. ССР (1972). Гос премия Армении (1977). Народный артист Армянской ССР (1984)
Широкое признание как композитор получил в 1980-х годах, когда его философичные симфонии, отмеченные нетрадиционностью мышления и национальной определенностью, стали исполнять дирижеры Геннадий Рождественский, Александр Лазарев, Джансуг Кахидзе, Роберт Сатановский. Эталонные образцы интерпретации музыки Тертеряна дал армянский дирижер Давид Ханджян, первый исполнитель симфоний № 1-4 (последняя посвящена ему). Среди других дирижеров симфоний Тертеряна — М. Аннамамедов, Д. Лисс. Знаком широкого признания стало присуждение звания Народного артиста СССР (1991).
В 1990-е годы установились тесные творческие связи Тертеряна с немецкой музыкальной культурой, особенно с городом Халле. Награжден премий Аденауэра. В 1992—1993 гг. вел мастеры-классы в Уральской (Екатеринбург) консерватории. Свердловская филармония провела два фестиваля его музыки «Три вечера с Аветом Тертеряном» (декабрь 1994) и «Линии Авета Тертеряна» (май 2002).