Родился 25 марта 1879 года в селе Рыбницы Даниловского уезда Ярославской губернии. Сын священника Петра Гурьевича Орлова и его супруги Александры Алексеевны.
Окончил Ярославскую духовную семинарию (1900), Московскую духовную академию со степенью кандидата богословия (1904; тема кандидатской работы: «Учение св. Илария Пиктавийского о Святой Троице»). В 1904—1905 годах — профессорский стипендиат академии. Магистр богословия (1908; тема диссертации: «Тринитарные воззрения св. Илария Пиктавийского»). В 1909—1910 годах слушал лекции в Берлинском и Мюнхенском университетах.
С 1905 года — исправляющий должность доцента Московской духовной академии по кафедре истории и обличения западных исповеданий в связи с историей Западной Церкви от 1054 года до настоящего времени. С 1908 года — доцент, с 1909 года — экстраординарный профессор академии по этой же кафедре. С августа 1916 года преподавал также историю и обличение русского сектантства.
Автор нескольких небольших, но серьёзных трудов о богословии Илария Пиктавийского и Оригена, сотериологии Ансельма Кентерберийского и Пьера Абеляра, а также посвящённых анализу некоторых воззрений Канта, Лютера и Цвингли. В сборнике «Богословские труды» (№ 4-7) была посмертно опубликована работа «Св. Иларий, епископ Пиктавийский», которая атрибутирована как принадлежащая перу профессора И. В. Попову, но, по мнению протодиакона Сергия Голубцова является трудом А. П. Орлова.
С 10 сентября 1917 года — ректор Московской духовной академии, был избран на этот пост как мягкий и покладистый человек. Был рукоположен в сан иерея (ректор академии по уставу должен был иметь священный сан), возведён в сан протоиерея. Руководил академией до апреля 1922 года, в том числе и после того, как в 1919 году она была вынуждена покинуть Сергиев Посад и существовала неофициально в Москве, где преподаватели продолжали читать лекции студентам.
С 1919 года — настоятель Троицкой церкви на Арбате, с 1920 года второй священник Казанского храма на Калужской площади. 8 апреля 1922 года был арестован в связи с кампанией по изъятию церковных ценностей. На судебном процессе над представителями московского духовенства и мирян, проходившем в апреле—мае 1922 года, был приговорён к смертной казни, заменённой пятью годами лишения свободы.
Был освобождён по амнистии, но уже 8 марта 1924 года вновь арестован и приговорён к трём годам ссылки в Нарымский край. Ссылку отбывал в деревне Типенко на реке Кети. В апреле 1931 года в очередной раз арестован, обвинён в антисоветской пропаганде и выслан на три года в Северный край. Затем был священником в селе Кузьмищево под Тарусой.
22 сентября 1937 года был арестован в городе Таруса. 9 декабря 1937 года решением Тройки УНКВД по Тульской области был приговорён к расстрелу. Расстрелян 21 декабря того же года.