Родился 12 (23) октября 1792 года в семье надворного советника, происходил из дворянского рода казачьего происхождения Донцов-Захаржевских.
Был женат на Елене Павловне, урождённой графине Тизенгаузен (1804—1890).
Его сестра, Елизавета Андреевна Донец-Захаржевская, была замужем за шефом жандармов графом А. Х. Бенкендорфом.
Службу начал в лейб-гвардии Конном полку и произведён в офицеры незадолго перед началом вторжения Наполеона в Россию.
В Бородинском сражении был ординарцем у М. И. Кутузова и за отличие был награждён орденом святой Анны 3-й степени. В должности ординарца главнокомандующего состоял до конца кампании 1812 года.
После смерти Кутузова Григорий Андреевич Захаржевский вернулся в свой полк и совершил с ним Заграничные кампании 1813 и 1814 годов. Принимал участие в сражениях при Кульме (за отличие награждён орденом святого Владимира 4-й степени с бантом и Кульмским крестом) и, будучи корнетом, при Фер-Шампенуазе, где был ранен навылет пулей в живот (за отличие награждён орденом святой Анны 2-й степени).
15 (27) декабря 1825 года полковник Григорий Захаржевский, командуя 2-м дивизионом Конногвардейского полка, принял участие в подавлении восстания декабристов и был произведён императором Николаем I во флигель-адъютанты.
19 апреля (1 мая) 1721 года был произведён в генерал-майоры, и ему было повелено состоять при командующем 1-й бригады гвардейской кирасирской дивизии, несколько позже принял в командование 2-ю бригаду этой дивизии.
В 1838 году назначен Санкт-Петербургским комендантом и 6 (18) декабря 1840 года был произведён в генерал-лейтенанты.
Скончался 30 октября (11 ноября) 1845 года от апоплексического удара, похоронен на Лазаревском кладбище Алексанро-Невской лавры.
По воспоминаниям офицеров конной гвардии, на момент ранения Григорий Андреевич был высокого роста и худощавый. Однако ранение каким-то образом способствовало быстрому ожирению.
Тем не менее, Григорий Андреевич Захаржевский не пользовался большой популярностью в Петербургском обществе. А. О. Смирнова-Россет в своих воспоминаниях вскользь упоминает «петербургского коменданта, толстого очень неуклюжего и скучного». А. А. Суворов вспоминал, что «полковник Захаржевский был чрезвычайно толст и неповоротлив и на учениях всегда боялся марш-маршей». Также известна карикатура М. Ю. Лермонтова на Захаржевского «Поспешает на тревогу», нарисованная им в 1841 году (оригинал хранится в Пушкинском доме).