Родился в семье торговцев. Закончил Томское музыкальное училище у Якова Медлина и два курса Петербургской консерватории (семейные обстоятельства помешали закончить курс). С 1912 г. активно концертировал в Красноярске как скрипач, имея в репертуаре виртуозные произведения П. Сарасате, Г. Венявского, К. Сен-Санса, а с 1914 г. руководил оркестром городского театра. В 1919 г. был мобилизован в армию Колчака, служил капельмейстером оркестра 31-го Сибирского стрелкового полка 8-й Сибирской стрелковой дивизии.
С 1920 г. начинается педагогическая деятельность Марксона в «Народной консерватории», затем в музыкальном техникуме. Одновременно он продолжал концертную деятельность в Красноярске и других городах Сибири как солист и в составе камерных ансамблей. Один из первых популярных у публики симфонических оркестров в России за Уралом в 1920-е годы-был оркестр под управлением А. Л. Марксона, который концертировал на открытой сцене городского сада, домах культуры и городского театра. Оркестром под управлением Марксона были исполнены в общедоступных спектаклях оперы «Травиата», «Риголетто», «Фауст», «Русалка», «Евгений Онегин» и другие, не установленные пока документально. Вырученные от концертов средства направлялись в различные фонды: Красный Крест, «Дирижаблестроение», «Наш ответ Чемберлену», «Помощь беспризорникам», Заповедник «Столбы», «Помощь артистам сгоревшего цирка г. Иркутска», «В помощь пролетариату Японии». Вместе с Петром Словцовым и хормейстером С. В. Абаянцевым, Марксон был основателем в 1928 году филармонического общества «Музыка массам». «Ни одно музыкальное мероприятие города не обходилось без участия Абрама Леонтьевича и его оркестров». А. Л. Марксон воспитал известных в Красноярске скрипачей: Анатолий Арапов, Вадим и Николай Буяновы, Станислав Пудуль и Геннадий Назаров.
В феврале 1938 г. девять музыкантов оркестра были обвинены в белогвардейском заговоре и арестованы. 21 февраля 1938 г. Абрам Марксон чнрез шесть дней после ареста был осуждён тройкой УНКВД по 58-й статье УК РСФСР и приговорён к высшей мере наказания (расстрелу). Приговор приведен в исполнение 26 февраля 1938 в г. Красноярске. В результате репрессий в отношении музыкантов прекратилась трансляция музыкальных программ на некоторое время в Красноярском Радиокомитете. А. Л. Марксон реабилитирован 15 мая 1956 г. военным трибуналом Сибирского военного округа за отсутствием состава преступления.