Воспитанник юридического факультета Санкт-Петербургского университета (окончил обучение в 1911 году). Более десятилетия вёл курс философии в Московском университете, однако был уволен оттуда после ареста брата. В последующие годы (в течение примерно двадцати лет) зарабатывал на жизнь переводами художественных и философских произведений (А. И. Рубин знал 15 языков).
Рубин был автором большого количества статей, посвящённых философским проблемам, русским писателям и поэтам. Большей частью они не были опубликованы при жизни автора. Статья «Кант и Маркс» была вывезена из Москвы профессором Хайфского университета А. Ясуром в 1960 году, переведена им на иврит и опубликована в журнале «Ба-шаар» в 1971 году (№ 7) под псевдонимом Ахарон Бен-Элияху. Сборник «А. И. Рубин. Статьи о русских поэтах. Из философского дневника» (вышел в 1985 году) был подготовлен к печати наследниками — Марией и Инессой Рубиными). «Философский дневник» и русский оригинал статьи «Кант и Маркс» впервые изданы в Израиле в 1988 году.