Через год после рождения его семья репатриировалась из Египта. В юности он играл в молодёжном составе клуба «Маккаби» из Тель-Авива. Затем перешёл в основной взрослый состав и играл в нем с 1974 по 1979 год, а также с 1981 по 1987 год.
В 1979—1981 гг. играл в английском «Ливерпуле». Стал первым иностранным игроком «красных» за 24 года (после Роберта Рудхэма). В 1980 году был включён в основной состав команды, которая встречалась с «Астон Виллой» в матче, который мог принести «красным» чемпионское звание. После того, как Дэвид Джонсон вывел мерсисайдцев вперёд, Ави неудачно срезал мяч в собственные ворота, сравняв результат. Однако вскоре он сумел себя реабилитировать, забив решающий мяч в ворота бирмингемцев и принеся своему клубу чемпионство. В следующем сезоне Ави провёл лишь 14 матчей, поскольку его конкурентом за место в основном составе был Рэй Кеннеди.
С 1987 по 1988 год — в «Глазго Рейнджерс». Последние два года карьеры (1988—1990) он провёл в клубе «Маккаби» из Нетании.
С 1976 по 1988 Ави Коэн был игроком сборной Израиля. Являлся капитаном команды. В последние годы он возглавлял Союз израильских футболистов. Признавался футболистом года своей страны (1978—1979).
Его сын, центральный полузащитник Тамир Коэн, в настоящее время выступает за «Болтон Уондерерз».