Александр Васильевич Маргелов родился в семье Героя Советского Союза Василия Филипповича Маргелова.
В 1970 году окончил Ракетный факультет МАИ и поступил на работу инженером в Центральном конструкторском бюро экспериментального машиностроения (ЦКБЭМ) в подмосковном Калининграде (ныне г. Королёв).
С 1971 года на службе в Советской армии (ВДВ), до 1980 года — в Научно-техническом комитете Воздушно-десантных войск.
Окончил экстерном Воздушно-десантное училище и Военную академию бронетанковых войск.
5 января 1973 года впервые в мировой практике в СССР было произведено десантирование на парашютно-платформенных средствах в комплексе «Кентавр» с военно-транспортного самолёта Ан-12 Б гусеничной боевой бронированной машины БМД-1 с двумя членами экипажа на борту. Командиром экипажа был старший лейтенант Александр Васильевич Маргелов, а механиком-водителем — подполковник Леонид Гаврилович Зуев. Командовал операцией отец Александра Васильевича — Василий Филиппович Маргелов. Известно, что Василий Филиппович во время десантирования сына находился на командном пункте с заряженным пистолетом наготове, чтобы в случае неудачи застрелиться. За это время он выкурил больше одной пачки папирос.
23 января 1976 года, также впервые в мировой практике, десантированная из того же типа самолёта, произвела мягкую посадку БМД-1 на парашютно-реактивной системе в комплексе «Реактавр» также с двумя членами экипажа на борту — майором Александром Васильевичем Маргеловым и подполковником Леонидом Ивановичем Щербаковым. Десантирование производилось с огромным риском для жизни, без индивидуальных средств спасения. Через двадцать лет за подвиг семидесятых годов обоим было присвоено звание Героя России.