Сын главы гамбургского концерна "Феникс", занимавшегося производством резины. Вырос в Вальтерсхаузене (Тюрингия), ходил в школу в Гейдельберге и Маннгейме. В 1928—1934 годах изучал в Гёттингене и Ганновере зоологию, геологию, ботанику, химию, минералогию, физику и этнографию. Специализировался в области орнитологии. В 1930 г. вступил в Орнитологическое общество Германии. В 1932 г. был избран пожизненным членом Академии естествознания в Филадельфии. В 1938 г. защитил кандидатскую диссертацию.
Известен стал благодаря своему участию в экспедициях на Тибет в 1931, 1934—1935 и 1938—1939 гг. На пути в первую экспедицию посетил Москву, которая, по признанию Шефера, ему не понравилась. Путь первой экспедиции пролегал через Китай, где Шефер стал свидетелем столкновений между войсками китайского правительства и тибетской армией, а также познакомился с местной фауной. В 1933 г. опубликовал свою первую книгу "Горы, Будды и медведи", принёсшую ему научную славу. В том же году вступил в СС.
В августе 1936 г. Шефер отправился в Великобританию для изучения коллекций тибетских и гималайских птиц в Британском музее. По возвращении на родину был приглашён Генрихом Гиммлером в Аненербе, но первоначально отказался. Однако уже в том же году он присутствовал на партийном съезде в Нюрнберге, где встретился со всеми лидерами Третьего рейха.
Первыми двумя тибетскими экспедициями руководил американец Брук Долан, третью возглавил сам Шефер, причём негласным покровителем выступил Генрих Гиммлер. Помимо чисто научных задач, экспедиции Шефера предписывалось отыскать следы арийской прарелигии в письменных памятниках буддизма и вообще исследовать Тибет на предмет его отношения к арийской расе. На Тибете Шефер занимался также исследованием высокогорных сортов пшеницы и пород приземистых азиатских лошадей. По материалам экспедиции был снят фильм Таинственный Тибет, премьера которого состоялась в 1943 г., и в том же году опубликован одноимённый отчёт об экспедиции.
В конце 1939 г. Шэфер представил нацистскому руководству план диверсионной операции "Тибет", нацеленной на дестабилизацию положения Британской Индии. В этом случае при содействии СССР через территорию советской Средней Азии в Тибет забрасывались сначала несколько агентов, затем группы диверсантов, а в 1941 г. в Тибет организовывалась новая научная экспедиция. К замыслам Шефера абвер добавил военную составляющую - переброску в Тибет оружия. План, однако, был отвергнут советской стороной.
В августе 1942-январе 1943 гг. - руководитель Зондеркоманды "К" (Кавказ), которая планировалась для схожих с тибетскими изысканий на оккупированном Кавказе. С 1943 г. возглавлял созданный им Институт Свена Гедина по изучению Центральной Азии и экспедициям. Также являлся главой учебно-исследовательского отдела коневодства Аненербе. Косвенно участвовал в отборе заключённых Освенцима для антропологических исследований доктора Хирта. В 1943 г. защитил в Мюнхене докторскую диссертацию. Входил в Кружок друзей рейхсфюрера СС.
После окончания войны был интернирован войсками союзников, освобождён в 1948 г. В ходе денацификации был признан "незначительно виновным" и приговорён к штрафу.
В 1949 г. стал профессором в Венесуэле, где хотел создать парк дикой природы, однако затем вернулся в Европу, где с 1954 г. был советником отрекшегося от престола бельгийского короля Леопольда III. Совершил исследовательскую поездку в Бельгийское Конго и совместно с Хайнцем Зильманом снял фильм «Владыка девственного леса» (1959).
В 1960—1970 гг. работал хранителем отдела естествознания земельного музея Нижней Саксонии. В 1970-е гг. выступил с предложением организовать заповедники в лесах Северной Индии.
Неоднократно заявлял, что вступил в СС не по собственной воле, а ради карьерного роста.
В честь Шефера названа открытая им в Тибете в 1934 г. карликовая голубая овца (Pseudois schaeferi).