Родился 1 мая 1818 года в Москве, был сыном генерала Владимира Фёдоровича Адлерберга и Марии Васильевны урождённой Нелидовой. Воспитание получил в Пажеском корпусе, откуда выпущен прапорщиком в лейб-гвардии Преображенский полк 2 августа 1836 г. В том же году, 6 сентября, он был назначен состоять при наследнике цесаревиче. 3 апреля 1838 г. произведён в подпоручики, а в следующем году, 25 июня, — в поручики, с назначением адъютантом к его императорскому высочеству.
В 1841 г. командирован был, по высочайшему повелению, на Кавказ, в отряды войск, действовавших против Шамиля, и, находясь при командире отдельного Кавказского корпуса генерале от инфантерии Головине, принимал участие в экспедиции в Дагестан. Будучи послан по приказанию командовавшего действующим отрядом генерала Фези, к главнокомандующему с донесением, он с незначительным конвоем проехал через неприятельское расположение и благополучно достигнув цели, остался при Чеченском отряде генерала Граббе, с которым и сделал потом всю экспедицию, причем в деле при Казак-Кичу, во время перехода через реку Фортангу, командовал ротой Кабардинского полка и двумя казачьими орудиями, прикрывавшими правый фланг переправы. При этом, за оказанное им боевое отличие, награждён 31 октября 1842 г. орденом св. Анны 3-й степени с бантом. 17 марта 1845 г. произведён в чин капитана. В 1850 г. в чине полковника сопровождал наследника цесаревича во время путешествия по Кавказу, участвовал в делах с горцами, и за отличие, оказанное при поражении партии чеченцев у реки Валерик, награждён 30 декабря 1850 г. золотой полусаблей с надписью «За храбрость».
В 1852 г. граф Адлерберг временно управлял двором наследника цесаревича и исправлял должность секретаря цесаревны. При вступлении на престол императора Александра II, 19 февраля 1855 г., граф Адлерберг назначен флигель-адъютантом; 17 апреля того же года произведён в генерал-майоры, с назначением в свиту его величества; в том же году, 10 июня, ему поручено было заведование особым отделением военно-походной канцелярии для собственных дел его величества; 18 октября назначен управляющим делами Императорской Главной квартиры и 6 декабря пожалован в генерал-адъютанты. 24 января 1859 г. назначен членом комитета по делам книгопечатания, а через год — членом главного управления цензуры. 16 апреля 1861 г. он был произведён в генерал-лейтенанты и 23 апреля назначен командующим Императорской Главной квартирой, а в 1866 г. — сначала членом Военного совета (15 марта), а затем (28 октября) членом Государственного совета и членом комитета для пересмотра проектов новых военно-судебных установлений.
В 1867 г. граф Адлерберг временно управлял Министерством императорского двора, а 19 октября того же года назначен товарищем министра Императорского двора и уделов. Произведённый 30 августа 1869 г. в генералы от инфантерии, граф Адлерберг в следующем году (17 апреля) назначен министром Императорского двора и уделов, а в 1871 г. пожалован орденом св. Александра Невского с бриллиантами, при Высочайшем рескрипте, в котором между прочим говорилось: «С первых дней вступления вашего на служебное поприще, вы, по избранию Любезнейшего Родителя Моего, были назначены состоять при Мне, и с тех пор, в течение 35-ти лет, почти неотлучно находились при Моей Особе. В продолжение этого времени, постоянно обращая на себя внимание отличным и ревностным исполнением как прямых ваших обязанностей, так и особых, лично Мною возлагаемых на вас поручений, вы явили несомненные доказательства глубокой преданности Мне и Моему Семейству, и тем приобрели Мое полное доверие к вам и душевное расположение. Ныне в знаменательный для Меня и всего Семейства Моего день исполнившегося 30-летия Моей супружеской жизни, Я с искренним удовольствием вспоминаю о вас, как постоянном и ближайшем свидетеле Моих семейных радостей и одном из усерднейших и опытнейших исполнителей Моих предначертаний в делах государственных».
В 1871 г. состоялось также назначение графа Александра Владимировича канцлером российских Императорских и царских орденов и председателем особой комиссии для обсуждения вопроса о замещении должностей гражданского ведомства исключительно гражданскими чиновниками и в 1874 г. ему был пожалован орден св. Андрея Первозванного.
В 1877 г., находясь неотлучно при Государе во время войны с Турцией, граф Александр Владимирович был назначен шефом 44-го пехотного Камчатского полка.
17 августа 1881 г., по расстроенному здоровью, граф Александр Владимирович уволен от должностей министра Двора и уделов, канцлера российских орденов и командующего Императорской главной квартирой.
15 мая 1883 г., в день коронования императора Александра III, ему пожалованы бриллиантовые знаки ордена св. Андрея Первозванного, при следующем высочайшем рескрипте: «В великий для Меня день Священного Моего Коронования, Я с удовольствием вспоминаю, что при праздновании того же торжества в Бозе почивший Родитель Мой уже считал вас в числе Своих приближенных. Неизменная и нелицеприятная преданность ваша Ему и всему Нашему Семейству, выразившаяся годами непрерывного, неутомимого служения, приобрела вам чрезвычайное благорасположение Незабвенного Моего Родителя и безусловную с Моей стороны благодарность. В продолжение многих лет Я был свидетелем как особенного доверия, с коим покойный Император возлагал на вас поручения первостепенной важности, так и той усердной старательности, коей неизменно сопровождалось исполнение вами вверенных вам дел. Желая явить вам сегодня новое доказательство той сердечной признательности, с коей Я оценяю многолетние заслуги ваши, жалую вам препровождаемые при сем бриллиантовые знаки ордена святого апостола Андрея Первозванного».
2 августа 1886 г., в день 50-летия служения в офицерских чинах, граф Адлерберг был пожалован бриллиантами украшенным портретом императоров Александра II и Александра III, при милостивом рескрипте, в котором ещё раз указывалось на важное значение служебной деятельности его, в следующих выражениях: «Особенность вашего положения, при ваших обширных дарованиях и глубокой преданности Престолу, предоставили возможность Моему Родителю лично направлять деятельность вашу на пользу важных государственных нужд и к исполнению поручений, требовавших особого Монаршего доверия».
Среди других наград граф Адлерберг имел ордена св. Станислава 1-й степени (1857 г.), св. Анны 1-й степени (1859 г.), Белого Орла (1865 г.), св. Владимира 1-й степени (1877 г.) а также ряд иностранных орденов.
Умер 22 сентября 1888 года, после тяжкой болезни, в Мюнхене.