А. А. Людмилин родился 13 (26) июня 1903 года в Киеве в семье музыканта. В 1924 году окончил Киевскую консерваторию по классу композиции профессора Р. М. Глиэра и классу дирижирования профессора Л. П. Штейнберга. В 1917—1924 годах артист оркестра Киевской оперы.
Главный дирижёр Киевского, (1924—1929), Крымского (1929—1930), первого передвижного Украинского (1930—1931), Бакинского (1932—1933), Молотовского (1944—1955), Свердловского (1955—1960), Харьковского (1960—1962) театров.
Преподавал в Бакинском (1932—1933), Свердловском (1930—1931 и 1933—1934), Молотовском (1944—1955) музыкальном училищах; в Свердловской (1939—1944, 1955—1960), Харьковской (1960—1962) консерваториях.
В 1962—1966 годах работал в Воронежском ТОБ, который при нём достиг своего расцвета.
А. А. Людмилин умер 16 декабря 1966 года. Похоронен в Воронеже на Коминтерновском кладбище.
В Воронеже на доме № 14 по улице Среднемосковской, где жил композитор, установлена мемориальная доска.