Сын гвардии подпоручика Ивана Михайловича Хвостова (1732—1809).
Учился в Московском университете. В 1772 году записан был в Преображенский полк, откуда вышел в 1779 году подпоручиком. После нескольких лет жизни в своей деревне на реке Кубре Хвостов вернулся в Петербург и поступил на службу обер-провиантмейстером, в 1783 году перешёл на службу в государственную экспедицию и был экзекутором во 2-м департаменте сената. В это время перевёл для кн. Вяземского трактат о финансах Неккера (перевод остался в рукописи). В 1791 году был выбран в члены Российской академии. Женатый на А. И. Горчаковой, племяннице Суворова, Хвостов произведён был в подполковники и назначен состоять при Суворове.
В 1797—1803 годы состоял обер-прокурором Святейшего Синода. Опала Суворова при Павле I несколько отразилась и на Хвостове, но он возвратил себе милость одой на принятие императором звания великого магистра мальтийского ордена. В 1802 году Хвостову разрешено было принять пожалованный ему ещё в 1799 году королём сардинским графский титул.
В литературе граф Хвостов стяжал себе печальную славу бездарнейшего пиита. Его несчастная страсть к стихам была настоящей графоманией. Хвостов воображал себя истинным поэтом, которого может оценить только потомство. Пушкина он снисходительно считал своим преемником. Он любил называть себя «певцом Кубры» по имени той реки, на которой находилось его имение. Сочинения его составили семь томов и выдержали три издания, но в продаже почти не расходились. Автор, обыкновенно, сам скупал их и либо рассылал всем, кому мог, либо даже уничтожал. Свои сочинения он преподносил не только литераторам, но также посылал в разные учреждения, подносил митрополитам, архиереям, Аракчееву, Паскевичу и даже королю прусскому, от которого получил награду. Иногда граф Хвостов посылал свои произведения в одно учреждение в огромном количестве экземпляров; так, Академии наук он принёс в дар 900 экземпляров своей трагедии «Андромаха». Граф Хвостов не ограничивался даровой рассылкой своих сочинений, но посылал иногда и свои бюсты.
Вошло в обыкновение, чтобы все молодые писатели об него оттачивали перо свое, и без эпиграммы на Хвостова как будто нельзя было вступить в литературное сословие; входя в лета, уступали его новым пришельцам на Парнас, и таким образом целый век молодым ребятам служил он потехой.
Хвостов пробовал свои силы во всех родах поэзии: писал драмы, оды, эпиграммы, басни, послания и т. д. Печатанием своих произведений он в значительной степени расстроил своё состояние, тем более, что много тратил на поддержание разных журналов, в которых надеялся помещать свои стихи. Шаликов, Воейков, Борис Фёдоров эксплуатировали эту слабость Хвостова. Не было недостатков и в хвалителях его таланта, преследовавших другую цель, — таким образом приобрести протекцию в лице чиновного поэта. Похвалы этих льстецов, переходившие всякие границы, до известной степени и объясняли ослепление Хвостова насчёт своего таланта. Не было недостатка и в похвалах иного рода, иронических. Хвостова осыпали эпиграммами, а Дашков при вступлении Хвостова в Вольное общество любителей словесности, наук и художеств (1812) произнёс ироническую похвальную речь Хвостову, превознёс его выше Пиндара, Горация, Лафонтена, Буало, Расина и т. д. Ирония была слишком очевидна, и Дашков был даже исключен из общества.
Как член Академии, граф Хвостов пытался работать для словаря, сочиняя объяснения разных слов. Филология его столь же мало удачна, как и его поэтические произведения. Хвостов представлял в Академию и другие свои труды, между прочим, возражение на шиллеровское «?ber das Pathetische». Вообще, Хвостов был одним из энергичных членов Академии. Положительной стороной деятельности графа Хвостова было внимательное собирание им сведений о русских писателях. Им было сообщено много материалов для словаря митрополита Евгения. Немалую услугу обществу в этом отношении оказал и издававшийся графом Хвостовым журнал «Друг Просвещения».
Как личность граф Хвостов оставил по себе самую лучшую память. Это был скромный, честный, отзывчивый человек. Его доброта доходила до забвения обид, нанесённых его огромному авторскому самолюбию. Всегдашней его чертой было уважение к науке. Как чиновник, он отличался честностью, внимательным отношением к своим обязанностям. Ему, между прочим, принадлежит проект о распространении элементарных юридических познаний.
Современные литературоведы принимают меры для отделения легенды о Хвостове от его непосредственного творчества. Так, разоблачены многие комические подделки под Хвостова (включая и знаменитое «По стогнам там валялось много крав…»). Сочувственное стихотворение Хвостову посвятил Евг. Евтушенко. «Бескорыстно влюблённым в поэзию» называют его в своём исследовании М. Г. Альтшуллер и Ю. М. Лотман.
Тем не менее, легенда о графе-графомане живёт и сейчас. Например, в журнале «Урал» рубрика для графоманов с подачи Б. Б. Рыжего была названа именно «Граф Хвостов».