Александр Владимирович Варламов родился 19 июня 1904 в Симбирске, в семье коллежского, затем статского советника, члена Симбирского окружного суда.
До сентября 1918 года жил в Симбирске, учился во второй мужской гимназии. В 1912 году в Симбирске были опубликованы его первые музыкальные произведения — пьеса «Грусть» и вальс «Вечерок».
В 1922 году поступил в ГИТИС (в одну мастерскую с Эрастом Павловичем Гариным и Николаем Павловичем Охлопковым). Однако вскоре уходит оттуда и поступает в Училище имени Гнесиных в класс Рейнгольда Морицевича Глиэра и Дмитрия Романовича Рогаль-Левицкого (сокурсник по классу композиции — Арам Хачатурян).
Собрал первую в СССР группу из музыкантов-импровизаторов («Семёрка»). В 1937 г. создал джаз-оркестр Всесоюзного радиокомитета, которым руководил до 1939 года, в 1940—1941 годах — главный дирижёр Государственного джаз-оркестра СССР. В начале войны возглавлял симфоджаз в Москве. В 1943—1956 годах жил на Урале и в Казахстане, куда был выслан. До 1948 года руководил лагерным оркестром, позже работал преподавателем в Караганде. После реабилитации вернулся в Москву, писал музыку для эстрадных оркестров, кинофильмов и телевизионных постановок. В последние годы жизни жил на улице Лескова дом 10-б в московском районе Бибирево
Умер 20 августа 1990 года в Москве.
Похоронен на Домодедовском кладбище.
Варламов одним из первых в Советском Союзе стал уделять внимание оркестровке. Он — автор музыки к кинофильмам «Степан Разин», «Парень из тайги», «Доктор Айболит», «Одна строка», к мультфильмам «Квартет», «Кентервильское привидение», «Лиса и бобёр», «Первая скрипка», «Дикие лебеди», «Тараканище», «Ровно в три пятнадцать», «Шайбу! Шайбу!».
Он — автор инструментальных пьес и вокальных произведений: «Романтическая рапсодия», «Ты поверь, ты пойми», «Край мой любимый», «Пой мне», «Уходит вечер».
В аранжировке Варламова была записана песня Ричарда Роджерса «Blue Moon», на русском языке под названием «Луна», а также песни «Все стало вокруг голубым и зелёным» в исполнении Веры Красовицкой и джаз-оркестра А.Варламова; «Весёлый час», «Уходит вечер», «Ранний час» (фокстрот), «Сон», «Счастьем жизнь полна», «Счастливая дорога», «Пой мне о любви, дорогая», «На карнавале», «Лирическая песня» («Песенка о четырёх сердцах»), «Жёлтая роза» и «Sweet Sue, Just You».
В 1930-е годы некоторые американские стандарты Варламов перевёл на русский язык и сам же пел. Голос его звучит в популярнейшей песенке «На карнавале» (Harry Warren (Г. Уоррен), оркестровка Александра Цфасмана — Николай Коваль).
В 1986 году написал «Концерт для трубы с оркестром» и посвятил его Ульяновску.