По окончании курса в кадетском корпусе, в 1766 г. поступил в действительную службу подпоручиком, в 1772 г. был в штате фельдмаршала графа К. Г. Разумовского генерал-аудитор-лейтенантом; перейдя на службу в сенат, был «у генерал-прокурорских дел» сначала секретарём, потом обер-секретарем; в конце 1781 г. назначен управляющим экспедицией о государственных доходах и расходах, учрежденной при сенате, а в 1783 г. — в число статс-секретарей императрицы, или, как тогда говорилось, «у принятия челобитен».
После путешествия императрицы в 1787 г., в котором Храповицкий участвовал и вел его журнал, Екатерина II приблизила его к себе, давала ему обыкновенно особые поручения самого разнообразного характера, сделала его советчиком и сотрудником в её литературных и исторических трудах, поручала ему исправлять слог в некоторых ее произведениях, составлять для них стихотворные части, подыскивать книги и географические карты, просматривать переводы на французский и т. п. Нередко императрица совещалась с ним по важным делам политики внешней и внутренней и особенно по делам финансовым и экономическим, в которых он считался специалистом. Через руки Храповицкого проходили разные представления от комиссии о строениях, планы относительно медной монеты и прочее.
В 1786 г. он составил карантинное положение, а в 1787 г. расследовал и исправил недостатки в управлении казенной суконной фабрикой в Ямбурге. По случаю обнаружения в 1789 г. беспорядков и хищений в театральном управлении, Храповицкий вместе с Соймоновым были назначены ревизорами, а затем директорами театров, но уже в 1791 г. оба они были удалены от этих должностей. Причиной явились скандал устроенный А. Клушиным и последовавшая жалоба актрисы Урановой, которой они препятствовали вступить в брак с актером Сандуновым, из угождения графу Безбородко, ухаживавшему за Урановой. Первое время после этого императрица была холодна к Храповицкому, но затем вернула ему свое расположение и он по-прежнему исполнял все свои прежние обязанности при государыне до 2 сентября 1793 г., когда был сделан сенатором.
Храповицкий был дружен с графом А. М. Мамоновым, графом А. А. Безбородко и Завадовским, пользовался расположением князя Потёмкина и вообще умел ладить со всеми; императрица, часто награждавшая его денежными подарками, «удостаивала его даже очень любезных шуток и большой откровенности во многих совершенно интимных делах».
Началась в 1762 г., когда был напечатан его перевод с французского: «Похождения Неоптолема, сына Ахиллесова». В журнале «Всякая всячина» Храповицкий поместил несколько статей без подписи и, между прочим, письмо, за подписью «Девица», в котором нападает на Лукина, напечатавшего в 1768 г. «Тесть и зять», сочинение Колле, и «Разумный Вертопрах», Баусси. Об этом письме, а также и других своих произведениях, Храповицкий с большой похвалой отзывается в журнале «И то и се».
В журнале «Вечера» (часть II, 1773) Храповицкий поместил «Епистолу к новому кафтану», подражание французскому. По сведениям Лонгинова Храповицкому принадлежат напечатанные в «Аонидах» (книга III): идиллия «Пленяся Делией», «Жизнь человеческая», «Восторг», подражание оде Лебрена, песня: «Как жидки виноградны лозы» и несколько басен, подражание Лафонтену. Кроме того, он написал трагедию: «Идамант» и оперу «Песнолюбие». Державин, Дмитриев, Хвостов и Княжнин высоко ценили ум и литературные способности Храповицкого; они охотно обменивались с ним стихотворными посланиями, часть которых напечатана Сушковым в сборнике «Раут» на 1854 г., а также в биографическом очерке Н. П. Барсукова, в предисловии к «Дневнику».
В 1760-х годах Храповицкий преподавал русский язык Радищеву. Но более всего замечателен Храповицкий как автор «Памятных Записок», которые первоначально были напечатаны в «Отечественных Записках» Свиньина, в VII, XVIII, XX, XXI, XXIV, XXVII, XXXI и XXXIII частях, с большими пропусками, и наконец, по подлинной рукописи, поднесенной в 1837 г. племянником Храповицкого, Н. В. Сушковым, императору Николаю I, отдельным изданием, которое напечатано в «Русском Архиве» за 1901 г.
Главное содержание «Памятных Записок» составляют заметки автора о том, что говорила и делала императрица; о себе автор говорит лишь крайне редко, о других лицах — лишь тогда, когда сообщаемое о них так или иначе касается императрицы. «Дневник» расположен по числам и дням; попадаются даже отдельные, отрывочные, часто грамматически незаконченные фразы; тем не менее от него «веет необыкновенной жизненной правдой и замечательной наблюдательностью»; автор сумел дать ряд наблюдений, разъясняющих нам настроение императрицы Екатерины II в шведскую войну, ее отношение к французской революции и вообще всю внутреннюю жизнь императрицы за последний период ее царствования. Многие замечания, которые мы находим у Храповицкого, имеют большое значение для суждения и о предшествовавшем периоде в жизни и деятельности Екатерины II.
Любопытны и «вновь найденные бумаги» Храповицкого, напечатанные в «Историческом Вестнике» (1880, том I). Рукописи Храповицкого, а также его переписка, хранятся в московском публичном и Румянцевском музеях.
Храповицкий не был женат, но от Прасковьи Ивановны Гурьевой (1757—1813), замужней женщины, имел 4 сыновей и 2 дочерей. Гурьева в течение многих лет жила в доме А.В.Храповицкого (у Храповицкого моста), в Петербурге, и в этом доме родились некоторые из её детей. Она умерла в октябре 1813 года и была погребена на кладбище Фарфорового завода, близ Петербурга, около церкви. Дети Храповицкого были утверждены во дворянстве, сыновья записаны в гвардию, получили фамилию и право законных детей.