Родился в Петербурге в семье потомственных медиков. Окончил Тенишевское училище и, нарушив семейные традиции, поступил в Новоалександрийский институт сельского хозяйства и лесоводства. Обучался под руководством географа А. А. Григорьева, который порекомендовал ему заняться обследованием торфяных болот Владимирской губернии. По результатам этих исследований им была написана статья о строении и жизни болот.
В 1920 году профессор Н. Прохоров предложил молодому учёному возглавить агрономическую службу Почвенно-ботанического отряда Мурманской железной дороги. В 1922 году Крепс приступил к созданию сельскохозяйственного пункта на берегу озера Имандра, недалеко от станции Хибины, который через некоторое время был преобразован в Полярное отделение Всесоюзного Института растениеводства (ПОВИР).
В 1923 году Крепс участвовал в работе Северной научно-промысловой экспедиции, где ему удалось собрать богатейший материал о жизни, быте, занятиях, ремёслах, хозяйстве, обычаях, традициях и обрядах коренного населения Кольского полуострова, пополнить гербарии разными видами арктической флоры. Материалы наблюдений и путевых заметок были обобщены в его «Путешествии в среднюю Лапландию», где были представлены сведения о природе, климате, ландшафте, геологической структуре и богастве недр этого заполярного края.
В 1925 году Северная научно-промысловая экспедиция была преобразована в Институт по изучению Севера. Будучи сотрудником этого института Крепс совершил несколько плаваний на научно-исследовательских кораблях биологической станции «Ковалевский» и «Персей», изучая периодичность температурных колебаний Гольфстрима и проблемы, связанные с ледовой обстановкой в районах промысла.
Осенью 1924 года Крепс возглавил экспедицию Мурманской биологической станции на ранее не исследовавшееся озеро Имандра. Были произведены измерения глубин и составлена подробная батимерическая карта озера. При проведении геоботанического картирования Крепс в основу классификации положил не признак растительности, а другой элекмент ландшафта — его рельеф, убедительно обосновав свое новшество результатами геоологического и геоморфологического исследований. Результаты экспедиции он изложил в своей работе «Материалы к растительности ландшафтов района озера Имандра». На Кольском полуострове Крепс познакомился с академиком А. Ферсманом и на долгие годы стал его помощником и другом.
В 1927 году Крепс выступил на заседании Географического общества с докладом «О промысловой фауне Лапландии», в котором выразил мысль, что промышленное освоение этого края может нанести серьёзный ущерб его флоре и фауне.
В 1928 году вынес на ученый совет Академии наук вопрос о положении дикого северного оленя. Позже внёс предложение о создании заповедника, подчеркнув, что речь идет прежде всего о сохранении в естественной неприкосновенности целого географического ландшафта. В 1930 году в небольшом горном массиве Монче- и Чунатундре в Крепском районе был организован Лапландский заповедник, директором которого был назначен Крепс. Благодаря его усилиям была восстановлена популяция бобра на Кольском полуострове, расселённого затем по всей стране.
В 1937 году Крепс был переведён заместителем директора по научной работе в Алтайский заповедник. Продолжая изучать флору и фауну горного Алтая, он совершил несколько экспедиций в Чулышманское нагорье и на Абаканский хребет.
Г. Крепсом было опубликовано более 30 научных и научно-популярных статей.
В 1944 году возглавил Центральный лесной заповедник, где начал работать ещё перед войной и при эвакуации экспонатов музея был тяжело контужен во время бомбёжки. От последствий контузии и тяжёлой болезни скончался. Прах его доставили на Кольский полуостров и захоронили на территории Лапландского заповедника.