Поступил в Королевский флот в 1732 году. Стал лейтенантом в 1739 году, участвовал в экспедиции 1741 года против Картахены, служил на линейном корабле третьего ранга HMS Norfolk (80), (капитан Томас Грейвз, его дядя и будущий адмирал). Его двоюродный брат Томас Грейвз, сын капитана Грейвза, также будущий адмирал, служил вместе с ним на Norfolk. Получив в командование шлюп Bonetta в 1743 году, Грейвз служил в Вест-Индии до 1747 года, командовал призом корабля HMS Rippon, затем HMS Enterprise.
В 1756 году Грейвз поднялся до командования HMS Duke. Два года спустя вернулся на Duke, снова служил под командованием адмирала Хока в при Кибероне, 20 ноября 1759 года. Продолжал командовать HMS Duke до производства в контр-адмиралы в октябре 1762 года.
В октябре 1770 года Грейвс вырос до вице-адмирала, и в июле 1774 вступил в командование Североамериканской станцией. Приказы были расплывчаты, его силы слишком растянуты, и ему достался, по словам Национального биографического словаря,
Согласно инструкциям, Грейвс был обязан поддеривать соблюдение различных таможенных сборов и торговых актов, регулирующих североамериканскую колониальную торговлю в пределах империи, и особенно Бостонский портовый акт. При наличии всего 26 кораблей и свыше тысячи километров побережья от Новой Шотландии до Флориды для патрулирования, задача Грейвза превратилась в сизифов труд.
Проблемы комплектования ещё более обострили трудности Королевского флота, что вынудило его прибегнуть к прессу с целью пополнения ослабленных экипажей кораблей. Проблема осложнялась отношением и поведением флотских офицеров, которые не признавали местные власти и чаще всего пренебрегали авторитетом местных чиновников в деликатных вопросах.
Имея штаб в Бостоне, Грейвс оказался в центре революционных потрясений в Новой Англии. Его матросы в ночь на 18 апреля 1775 года вели шлюпки, переправившие британских солдат через Чарльз-ривер по пути к Конкорду. Два месяца спустя, 17 июня 1775 года, его люди снова помогли в переправе войск, на этот раз на полуостров Чарлстаун, а часть его кораблей предоставляла огневую поддержку пирровой победе при Банкер Хилл.
Во время осады Бостона, 6 октября 1775 года, адмирал Грейвз приказал лейтенанту Генри Моуэтту, командиру вооруженного судна Canceaux, уничтожить морские порты, поддерживавшие мятеж. 18 октября Моуэтт сжег Фалмут, современный Портленд (Мэн).
27 января 1776 года вице-адмирал Ричард Хау сменил Грейвза на посту командующего Североамериканской станции. Грейвз вернулся в Англию без назначения. В сентябре 1777 года он отклонил командование Плимутской верфью, но заявил о своем желании вернуться к активной службе. 29 января 1778 года был произведен в адмиралы синей эскадры, 8 апреля 1782 года стал адмиралом белой. Он умер в своем имении в Хембери форт, Хонитон, Девон 8 марта 1787 года.
Был женат на Элизабет Седжвик, дочери Джона Седжвика из Стайндроп (графство Дарем). После смерти Элизабет в 1767 году, он снова женился в 1769 году. Его второй женой стала Маргарет Спинкс, дочь Элмера Спинкса из Олдвинкл (Aldwinkle) в Нортгемптоншир, и старшая сестра Элизабет Симко. У него не было детей, кроме приемных (дочь его покойной невестки), которая вышла за его крестника Джон Грейвза Симко, который позже стал первым генерал-губернатором Верхней Канады. Он был дядя адмирала Томаса Грейвза, 1-го барона Грейвз, двоюродного брата контр-адмирала сэра Томаса Грейвза.