Рубинов родился в Могилёве в семье инженера. В 1961 он окончил физический факультет БГУ, а с 1964 стал работать в Институте физики АН БССР под руководством академика Б. И. Степанова. В следующем году он защитил кандидатскую диссертацию, а в 1970 был назначен заведующим Лабораторией генерирующих органических соединений. Одновременно в 1987-98 он занимал должность заместителя директора Института по научной работе. В 2002-06 являлся Председателем Высшей аттестационной комиссии Республики Беларусь, в 2006-08 — Первым заместителем Главы Администрации Президента Республики Беларусь. 31 октября 2008 избран Заместителем Председателя Совета Республики Национального собрания Республики Беларусь. Также является Заместителем председателя Совета по взаимодействию органов местного самоуправления при Совете Республики Национального собрания Республики Беларусь, Председателем Комитета по Государственным премиям Республики Беларусь.
24 мая 2010 года избран Председателем Совета Республики Национального собрания Республики Беларусь четвертого созыва.
Среди учеников Рубинова 5 докторов и 30 кандидатов наук.
Научные работы Рубинова связаны с лазерной физикой, спектроскопией сложных органических соединений, биофизикой. В начале 1960-х были проведены исследования свойств рубинового и неодимового лазеров, свойств их активных сред при мощном облучении, обнаружено явление поглощения возбужденного рубина.
В 1963-64 Рубинов совместно с Б. И. Степановым теоретически обосновал возможность лазерной генерации на растворах органических красителей, а в 1966 эта возможность была реализована экспериментально. В дальнейшем были в подробностях изучены фотопроцессы, сопровождающие генерацию, разработаны методы накачки и плавной перестройки частоты, предприняты поиски новых органических активных сред. Результатом стало создание ряда лазеров на красителях, охватывающих весь видимый и прилегающий к нему УФ и ИК спектр. За эту деятельность в 1972 А. Н. Рубинов, Б. И. Степанов и В. А. Мостовников были удостоены Государственной премии СССР.
Рубинов совместно с учениками провел большую работу по исследованию свойств лазеров на красителях с распределенной обратной связью (РОС-лазеров), которые оказались дешевыми и удобными в плане перестройки частоты устройствами для широкого круга применений. Также Рубиновым были изучены свойства нелинейного резонатора Фабри-Перо, процессы при нелинейном полном внутреннем отражении, сделан существенный вклад в усовершенствование внутрирезонаторной спектроскопии благодаря использованию лазеров на красителях.
Ряд работ Рубинова и его учеников связан со спектроскопией сложных органических молекул. Они изучили влияние флуктуационных микронеоднородностей на спектры растворов этих соединений, предложен спектроскопический метод исследования таких гетерогенных систем, развит поляризационный подход к изучению кинетики сверхбыстрых процессов (таких, как образование и разрыв межмолекулярных водородных связей в растворах). В 1994 цикл работ «Флуктуации микроструктуры и фотофизика растворов сложных органических соединений» был удостоен Государственной премии Республики Беларусь.
Развитые спектроскопические методы были применены к исследованию возбужденных состояний сложных молекул, а также таких надмолекулярных комплексов как биологические мембраны. Рубинов рассмотрел влияние лазерного излучения на биообъекты (например, на эритроциты), показал возможности манипуляции ими в интерференционном лазерном поле.
Рубинов является автором около 65 изобретений и более 300 научных работ, в числе которых: