Родился в семье почтового служащего. После окончания гимназии изучал медицину в военно-медицинской академии имени кайзера Вильгельма, а также в университетах Берлина и Бреслау. Сдаёт на отлично государственные экзамены и 16 мая 1922 года получает диплом врача. В 1921 году вступает в добровольческие отряды Росбаха, которые, согласно его высказыванию, являлись «защитой от польской экспансии в Верхней Силезии» (нем. Abwehr des polnischen Einfalls in Oberschlesien) .
С 1922 по 1926 годы Розе последовательно работает ассистентом в институте имени Роберта Коха в Берлине, в институте гигиены в Базеле и на кафедре анатомии университета Фрайбурга. В 1926 году переезжает в Гейдельберг, где открывает частную практику и одновременно работает в хирургическом отделении местного университета.
В 1929 году Розе покидает Германию и переезжает в Китай, где становится медицинским советником правительства Гоминьдан. В декабре 1929 года назначается директором организации здравоохранения провинции Чжэцзян и одновременно советником по медицине министра внутренних дел Чжэцзян.
1 ноября 1930 года Герхард Розе вступает в НСДАП (партийный билет 346 161).
Вследствие японо-китайской войны Розе в сентябре 1936 года возвращается в Германию, где становится заведующим отделения тропической медицины института имени Роберта Коха в Берлине.
В сентябре 1938 года Розе начинает преподавать тропическую гигиену и тропическую медицину в Берлинском университете. 1 февраля 1943 года становится вице-президентом института имени Роберта Коха.
В 1939 году становится сотрудником санитарного отдела люфтваффе. В этом же году вступает в испанский Легион «Кондор». Под конец войны Розе становится генералом врачебной службы.
В августе 1942 года женился. Имел одного ребёнка.
Предпосылкой исследования малярии была гипотеза, высказанная ещё в 1917 году австрийским психиатром Юлиусом Вагнером-Яуреггом, что заражение малярийным плазмодием оказывает лечебное действие у больных с прогрессирующим параличем и шизофренией.
В период между 1941 и 1942 годами Розе произвёл заражение 110 больных малярийным плазмодием, из которых несколько вследствие этих опытов погибло. Следует отметить, что эти опыты проводились во время акции Т-4, которая предполагала эвтаназию (умерщвление) детей с пороками развития и душевнобольных. Розе обратился непосредственно к организатору этой программы Виктору Браку с просьбой разрешить ему проведение экспериментов над людьми подлежащими умерщвлению .
Под руководством Розе с января 1942 года над заключёнными концлагеря Дахау его учеником Клаусом Шиллингом производились опыты по созданию вакцины от малярии .
Создание гетто и лагерей для военнопленных с отсутствием в них нормальных санитарных условий привели к возникновению в них эпидемии сыпного тифа. Когда данное инфекционное заболевание стало также распространяться и вне мест заключения, а также в войсках, начали предприниматься исследования по созданию вакцины от данного заболевания.
Сохранилось письмо в котором Розе просит Мруговского разрешить проведение экспериментов над заключёнными Бухенвальда .
17 марта 1942 года Розе посещает Бухенвальд. В целом около 1000 заключённых Бухенвальда были заражены сыпным тифом, из них около 250 погибло . Многие из выживших, вследствие перенесённого заболевания в дальнейшем страдали от снижения памяти, патологической жажды, различных фобий, бессонницы, головных болей, облысения и импотенции.
За преступления против человечности и военные преступления приговорён к пожизненному заключению — 31 января 1951 года срок был снижен до 15 лет. Досрочно освобождён 3 июня 1955 года.
После освобождения Розе длительное время работал на фабрике по производству бутылок в Оберкирхене. Впоследствии научные заслуги (по исследованиям не на людях) Розе были оценены и в 1977 году он удостаивается медали Пауля Шурманна.