Родился 8 июня 1899 года в Шарлоттенбурге. Внук известного немецкого врача Пауля Гравица. В 1917 году вступил добровольцем в немецкую армию, попал в плен к британским войскам, в звании лейтенанта. После своего освобождения в 1919 году поступил в Берлинский университет имени Гумбольдта на медицинский факультет. В 1929 году защитил диплом и начал работать ассистентом хирурга в одной из больниц Берлина. 1 июля 1933 вступил в СС в чине штурмбаннфюрера. В 1935 году Гиммлер назначил Гравица начальником медицинской службы СС и полиции. Под его непосредственным руководством и с его санкции проводились эксперименты над узниками концентрационных лагерей. Кроме того, курировал исследовательскую работу в различных институтах СС. Руководил Главным управлением немецкого Красного Креста. В конце Второй мировой войны работал в бункере Гитлера. Узнав о приближении Красной Армии, ходатайствовал о переводе в другое место, но ему было отказано. Умер 24 апреля 1945 года вместе со своими детьми и женой в результате разрыва гранаты в его доме. Это событие было отражено в фильме «Бункер». Во время Нюрнбергского процесса над врачами деятельность Гравица была оценена как преступная.