Александр Рябинин учился в Ленинградской консерватории по классу Михаила Буяновского. Во время учёбы в 1935-1941 годах Рябинин работал в оркестрах Ленинградского радио и филармонии. После окончания консерватории в 1941 году он переехал в Москву и в 1945 окончил Высшее училище военных дирижёров. С 1945 по 1977 год он был солистом оркестра Большого театра. В 1945-1948 он преподавал в Высшем училище военных дирижёров, а с 1951 — в Музыкально-педагогическом институте имени Гнесиных (с 1979 профессор). Среди учеников Рябинина — заслуженный артист России Леонид Мельников. В 1976 году Александр Рябинин был удостоен звания Народного артиста РСФСР.