Родился в бедной семьи нотариуса. Среднее образование А. П. Соколов получил в Калужской гимназии (окончил её с золотой медалью). В 1873 году он поступил в Московский университет на физико-математический факультет. Уже со второго курса он начал работать в физической лаборатории, незадолго до этого организованной профессором А. Г.Столетовым.
После окончания курса в Московском университете (1877) был оставлен для приготовления к профессорскому званию по кафедре физики. После сдачи в январе 1879 года магистерских экзаменов он был командирован на 2 года в Берлин, где работал под руководством профессоров Гельмгольца и Кирхгофа. Результатом стала статья «Из теории света».
После возвращения назначен сначала в Варшавский университет, где читал курс теоретической физики, затем, после защиты в феврале 1882 года магистерской диссертации «О гальванической поляризации электродов», в январе 1883 года был переведён в Московский университет. В Московской университете он читал лекции по теоретической физике, физической географии с метеорологией, а также руководил практическими занятиями студентов в физической лаборатории. В ноябре 1884 года А. П. Соколов стал экстраординарным профессором по кафедре физики и физической географии. В марте 1886 года после зашиты докторской диссертации на тему «Опытное исследование электрических колебаний в электролитах», исполненной целиком в Московской физической лаборатории, он был утверждён в степени доктора физики. В апреле 1891 года А. П. Соколов был утверждён ординарным профессором Московского университета.
В 1894 году преподавание опытной физики в Московском университете было разделено на параллельных двухгодичных курса. Один из них до конца своей жизни читал А. Г. Столетов, а другой — А. П. Соколов.
С 1901 года А. П. Соколов начал интересоваться областью радиоактивных явлений; в 1904 году взялся за организацию физического практикума. В этом же году он первым высказал мысль о возможном терапевтическом значения ионизации воздуха на организм человека (речь, произнесенная в годичном заседании Русского бальнеологического общества в Пятигорске, на тему «Ионизация и радиоактивность атмосферного воздуха», „Записки общества" 1904 г.).
В феврале 1907 года А. П. Соколов был утверждён в звании заслуженного ординарного профессора и с 1909 года, со дня выслуги 30-летнего срока, получил пенсию, но продолжал работу в университете.
В 1911 году А. П. Соколов перенёс тяжёлую операцию и в 1912 году выехал на лечение во Францию. В Париже он работал в лаборатории М. Кюри. Вернувшись в Москву, в 1912 году он вместе с ассистентами К. П. Яковлевым и А. П. Снесарёвым, создал первую в России радиологическую лабораторию.
Изучал внутренний тепловой режим Земли в связи с ее радиоактивностью и выдвинул (1910) идею о продолжающемся разогреве земных недр внутренними источниками тепла.
В 1919 году он был избран профессором на вновь учрежденную кафедру физики при медицинском факультете 1-м МГУ (до 1922), а также профессором физики в открывшейся тогда Высшей медицинской школе (до 1924). Кроме того, он читал курс «радиоактивности» для студентов химического отделения физико-матема¬тического факультета 1-го МГУ.
С начала 1927 года, А. П. Соколов — действительный член Исследовательского институт физики и кристаллографии.