Родился в семье священника села Никольского Переяславской епархии.
В 1783 поступил в Троицкую духовную семинарию; в ведомости 1788 был отмечен как ученик «дарований и успехов похвальных». В 1794 переведён по указу Синода в Санкт-Петербургскую учительскую семинарию, которую окончил в конце 1796.
По завершении учёбы переехал в Нижний Новгород, где поступил на место учителя гражданской истории, географии и статистики в Нижегородском главном народном училище. После преобразования училища в гимназию стал старшим учителем.
Во время жизни в Нижнем Новгороде активно участвовал в работе кружка любителей словесности, получил для него, вместе с другими участниками, право собираться в дворянском доме. При помощи кружка издал сборник «Моё отдохновение для отдыху других» (1799). Основную работу нижегородского периода, «Историческое и статистическое описание Нижегородской губернии», Орлов преподнёс Александру I. Труд понравился, автор получил от царя бриллиантовый перстень.
В 1809 вернулся в Санкт-Петербург, где стал бакалавром по классу исторических наук в Санкт-Петербургской духовной академии. 10 января 1810 года получил звание ординарного профессора. В течение 1810-х создал несколько исторических трудов патриотического характера, изданных в 1818-20гг.
Был членом Вольного общества любителей российской словесности, отрывки его труда «Дух российских государей Рюрикова дома», написанного с целью «предотвратить или ослабить вредное влияние иностранных историков, недобросовестных и неблагонамеренных в отношении к России», и показать, что «первые русские законы были заимствованы из „свойств народа“», в 1817 году зачитывались на заседаниях Общества.
Скончался в феврале 1819 года.
Cборник стихов и прозы «Моё отдохновение для отдыху других» прошёл цензуру в 1798 году и был издан в 1799 в Нижнем Новгороде. Сборник содержал стихи разных лет, начиная от стихотворения, посвящённого Троицкой семинарии, а также сочинения научно-популярного характера (этимологические опыты, заметки по истории, географии и физике).
Труды Орлова впоследствии использовались историками в качестве источников по церковной истории,