Из русского дворянского рода, известного с середины XVII века. Родился 31 мая 1832 года в родовом имении Рапти Лужского уезда Санкт-Петербургской губернии.
Отец — действительный статский советник Александр Андреевич Половцов, мать Аграфена Фёдоровна, урождённая Татищева.
Окончил пансион Ридигера и Императорское училище правоведения в Петербурге.
С 1851 года определён на службу в 1-й департамент Сената в чине титулярного советника (исполнял должность секретаря в канцелярии Общего собрания 1-го, 3-го и Герольдии департаментов). С 1863 года состоял за обер-прокурорским столом во 2-м департаменте Сената, а в 1867 году назначен обер-прокурором 1-го департамента. С 1865 года — действительный статский советник. Входил в состав Комиссии при Министерстве финансов по пересмотру системы податей и сборов (1865).
С 1873 года — тайный советник. В 1873 году назначен сенатором; присутствовал в 4-м, а затем в 1-м департаменте Сената. В 1880 году проводил ревизию в Киевской и Черниговской губерниях, вскрыл ряд злоупотреблений местной администрации.
В январе 1883 года пожалован в статс-секретари к Александру III, назначен государственным секретарём и членом Комитета финансов. В 1885 году произведён в действительные тайные советники. Привлекался к работе в различных совещаниях и комиссиях.
В июне 1892 года оставил должность Государственного секретаря, назначен членом Государственного совета. С 1901 по 1905 годы заседал в Департаменте законов; с 1905 года входил в число присутствующих членов Госсовета; участвовал в совещаниях по разработке учреждения Государственной думы и реорганизации Государственного совета в Верхнюю палату (1905—1906). За многолетнюю деятельность удостоен высших российских орденов до Св. Владимира I-й степени (1896) включительно.
Член-учредитель Императорского Русского исторического общества, в 1866—1879 годы — его секретарь, а с 1879-го и до конца жизни — председатель.
C 1869 года — почётный член Императорской Академии художеств.
В декабре 1884 года избран почетным членом Петербургской Академии наук.
В мае 1891 года избран членом-корреспондентом Французской академии.
Наряду с государственной службой Александр Александрович широко занимался и промышленно-финансовой деятельностью. В 1883 году он приобрел на имя жены Богословский горный округ в Верхотурском уезде Пермской губернии. Там в 1894 году был построен крупнейший на Урале металлургический завод, названный Надеждинским в честь его жены. Этот завод послужил основанию города Надеждинска — в настоящее время город Серов Свердловской области. В 1895 году создается Богословское акционерное общество. Кроме того, Половцовы были наиболее крупными акционерами Невской бумагопрядильной мануфактуры, Невской ниточной мануфактуры в Петербурге и Кренгольмской мануфактуры бумажных изделий в Нарве. Им принадлежал ряд винокуренных и мукомольных производств в Тамбовской и Воронежской губерниях.
Большие средства тратились Половцовым на благотворительные и образовательные цели, в том числе на поддержание Центрального училища технического рисования им. А. Л. Штиглица. Это он, выполняя завещание, довел до конца обустройство Училища технического рисования и построил при Училище здание музея.
Думая о будущем России и, вероятно, осмысливая жизнь Александра Штиглица, Половцев как-то записал в своем дневнике: «Россия будет счастливой, когда купцы будут жертвовать деньги на ученье и учебные цели без надежды получить медаль на шею».
За счет личных средств с 1896 года А. А. Половцова издавался «Русский биографический словарь».
Умер 24 сентября 1909 года в собственном имении Рапти Лужского уезда Петербургской губернии. Похоронен в семейном склепе Троицкой (Штиглицкой) церкви, расположенной в Ивангороде, рядом со своей женой и четой Штиглиц.
В 1861 году женился на Надежде Михайловне Ию?невой (реже называемой Ю?невой) (1843—1908) — внебрачной дочери великого князя Михаила Павловича и воспитаннице барона A. Л. Штиглица. После смерти барона А. Л. Штиглица в 1884 году Н. М. Половцова унаследовала значительную часть его огромного состояния.
Дети: