Родился в посаде Кибарты близ Вержболово Сувалкской губернии.
Осенью 1871 года поступил в Московское училище живописи, ваяния и зодчества на Мясницкой. Два года спустя туда же поступил его младший брат тринадцатилетний Исаак.
Авель учился у В. Г. Перова, И. М. Прянишникова, А. К. Саврасова. За ученические работы в 1876 и 1878 награждался малыми серебряными медалями. В 1878 году окончил курс со званием учителя рисования в гимназиях. Вплоть до 1885 года ежегодно подавал в Совет преподавателей МУЖВиЗ прошения для продления учебы и работы на большую серебряную медаль, однако безуспешно. В 1886 году 27-летний Авель получил звание неклассного (свободного) художника.
Левитан много работал в техниках рисунка и акварели; писал портреты, пейзажи, жанровые картины. Как иллюстратор сотрудничал в журналах «Москва», «Будильник», «Радуга», «Эпоха», «Осколки» (1882–1886). Экспонировал свои произведения на выставках МУЖВиЗ и Московского общества любителей художеств. С 1886 года по 1911 участвовал в деятельности художественного кружка «Среда» (Шмариновские среды).
В 1902 году установил памятник на могиле Исаака Левитана.
Скончался в Крыму в 1933 году.
Произведения Авеля Левитана находятся в ряде музейных и частных собраний, в том числе в Государственной Третьяковской галерее.