Сын фармацевта. В 1914 году поступил в 48 й пехотный полк. Участник Первой мировой войны, оберлейтенант. В августе 1916 года переведен в авиацию; летчик наблюдатель. Служил в 249-м авиаотряде, которым командовал будущий фельдмаршал Гуго Шперле. В 1918 году служил в штабе германской военной администрации в Риге. За боевые отличия награжден Железным крестом 1-го и 2-го класса. В 1919 году был членом Добровольческого корпуса, участвовал в боях с большевиками в Прибалтике.
После демобилизации из армии был оставлен в рейхсвере, но затем вышел в отставку и стал заниматься бизнесом. Во время Мирового экономического кризиса в 1932 году его фирма разорилась. 1 апреля 1933 года вступил в НСДАП (билет № 1 667 407). После того, как он 6 июля 1933 года вступил в СС (билет № 72 909), вся его дальнейшая деятельность до самого конца войны связана с этой организацией. Грейфельт начинал свою службу в СС в звании унтерштурмфюрера. 1 мая 1934 года он был назначен начальником штаба оберабшнита СС «Эльба», а 15 июня 1934 года — оберабшнита СС «Рейн». 25 мая 1935 года назначен начальником Центральной канцелярии Главного управления СС, а 24 февраля 1937 года переведен в Личный штаб рейхсфюрера СС (нем. SS Reichsf?hrerpersonalstab; Personliches Stab des SS Reichsf?hrer).
7 октября 1939 года Гитлер назначил Генриха Гиммлера имперским комиссаром по вопросам консолидации германского народа (нем. Reichskommissar f?r die Festigung Deutschen Volkstums; RKFDV), и при нём было создано управление (первоначально состоявшее из 6 отделов) во главе с Грейфельтом. Функциональной задачей данного управления была координация всех действий Главного управления СС по вопросам расы и поселения и Главного управления СС по репатриации этнических немцев (нем. Volksdeutsche Mittelstelle; Vomi) по привлечению этнических немцев за пределами Рейха (фольксдойче) к службе нацистской Германии, а также по проведению мероприятий по переселению этнических немцев, экспроприации собственности не-немцев для их нужд на захваченных территориях и её распределению среди немецких колонизаторов.
В середине июля 1941 года на базе возглавляемого Грейфельтом управления было создано Штабное управление имперского комиссара, получившее в системе СС статус Главного управления (StHA/RKF), а Грейфельт остался его начальником. После войны стало известно, что именно возглавляемое Грейфельтом управление наряду с Главным имперским управлением безопасности (Reichssicherheitshauptamt; RSHA) было главным разработчиком Генерального плана «Ост» — плана колонизации захваченных территорий СССР после разгрома Германией Советского Союза. Работа над этим планом по поручению Гитлера началась в апреле 1940 года и продолжалась вплоть до 1944 года.
В конце войны арестован союзниками. На проходившем с 20 октября 1947 по 10 марта 1948 года процессе Американского военного трибунала в Нюрнберге по делу руководящих сотрудников Главного управления СС по делам расы и поселений, Главного штабного управления СС имперского комиссара по вопросам консолидации германского народа, «Фольксдойче Миттельштелле», а также организации «Лебенсборн» Грейфельт был одним из главных обвиняемых. Он был признан главным лицом, ответственным за изгнание во время войны людей из Словении, Эльзаса, Лотарингии и Люксембурга и приговорен 10 марта 1948 года к пожизненному тюремному заключению. Умер в ландсбергской тюрьме от сердечного приступа.