Николай Архаров происходил из благородного рода. В 1754 году он вступил в гвардию, в 1756 году начал службу как солдат Преображенского полка и к 1761 году году дослужился до офицерского звания.
Его восхождение по карьерной лестнице началось в 1771 году во время операции под предводительством Григория Орлова по подавлению Чумного бунта вспыхнувшего в связи с эпидемией чумы в Москве. Граф Орлов прибыл в Москву 26 сентября 1771 года с четырьмя гвардейскими полками. Архаров проявил себя исполнительным и энергичным офицером. Поэтому Орлов перевёл Архарова в штат полиции под званием полковника.
В 1775 году Архаров был назначен обер-полицмейстером Москвы. На этом посту он проявил себя хорошим следователем. Екатерина II иногда приглашала Архарова в Санкт-Петербург для расследования наиболее запутанных дел (в 1774 году он занимался розыском по делу о Пугачевском бунте).
Деятельность Архарова как московского обер-полицеймейстера долго жила в памяти москвичей. Обер-полицеймейстер знал до мельчайших подробностей все, что делалось в Москве, всевозможные пропажи отыскивались с изумительной быстротой. Архаров использовал довольно жесткие и зачастую спорные меры для наведения порядка на улицах Москвы (нередко виновность подозреваемого он определял просто взглянув на него), однако деятельность его была довольно эффективна.
Приемы, которыми пользовался Архаров для раскрытия самых сложных преступлений, нередко отличались оригинальностью и породили многочисленные анекдоты о нём.
По одной из версий, именно его сотрудников начали называть «архаровцами» — впоследствии это слово стало крылатым, хотя и несколько изменило своё значение. 28 июля 1777 года он получил звание генерал-майора, а в 1779 году был награждён орденом Святой Анны первой степени.
С 1782 года он занимал пост московского губернатора. В 1785 году Архаров стал генерал-губернатором Тверской и Новгородской губерний. С 1790 года он также стал начальником местных водных коммуникаций и внёс немалый вклад в их развитие.
С 1795 по 1796 год он являлся Петербургским генерал-губернатором. После восшествия на престол Павел I наградил Архарова орденом Святого Александра Невского и возвёл его в полное генеральское достоинство, причем орденскую ленту для награждения император снял с себя самого, что было знаком особой милости. Знаки внимания и расположения оказывались Архарову и в дальнейшем, так, в день коронования Павла I (5 апреля 1797 года) Архарову было пожаловано 2000 душ.
С ноября 1796 по 15 июня 1797 года Архаров стал занимать пост второго (гражданского) генерал-губернатора (в то время как пост первого (военного) занимал Великий князь Александр Павлович). Начато строительство Михайловского замка. На главных улицах устроены первые тротуары. 1 июня 1797 года издан высочайший указ о трактовом сообщении между Петербургом и Вяткой.
15 июня 1797 года Архаров был внезапно вместе с братом Иваном удален в свои имения в Тамбовскую губернию без права посещать столицы. Там он прожил безвыездно три года до кончины императора. Получив с новым царствованием право жить в Москве, проводил время в покое то там, то в своих деревнях. Скончался в с. Рассказове недалеко от Тамбова в январе 1814 года, где и был похоронен.