Родился в семье крестьянина. Учился на экономическом факультете Кильского университета, но степень доктора так и не получил.
28 мая 1925 года вступил в НСДАП и СА возглавлял партийную ячейку, был казначеем и организатором митингов. № в НСДАП — 6531, № в СС — 880.
В 1926 году зачислен в СС.
В 1933—1935 годах ассистент профессора Йенсена в институте мировой экономки, создатель отдела национал-социализма и фашизма.
В 1935 году возглавил отдел планирования имперского министерства экономики.
В 1936 году зачислен в СД.
После создания в сентябре 1939 Главного управления имперской безопасности Олендорф возглавил его III управление.
В июне 1941 года был назначен командиром айнзатцгруппы D. Неоднократно пытался вернуться в Берлин, однако это ему удалось сделать только в июле 1942, после смерти Гейдриха.
Возглавив III управление РСХА, Олендорф организовал сбор сведений о положении дел в стране. Обобщённую информацию он 2-3 раза в неделю сообщал Гиммлеру в виде докладов «Сообщения из Рейха».
Факт сбора информации вскоре стал известен партийному руководству, которое весьма негативно отнеслось к данному факту. Доверенные лица СД стали подвергаться преследованиям. НСДАП, СА, гражданские оккупационные администрации своими распоряжениями запретили сотрудничество с СД. Своё недовольство действиями Олендорфа выразил также и Борман, направив письмо Гиммлеру.
Гиммлер, заверив Бормана в невмешательстве в дела партии, стал ограничивать полномочия III управления. «Сообщения из Рейха» всё чаще стали возвращаться в разорванном виде с угрозами арестовать Олендорфа и разогнать управление. Кроме того, они были запрещены в министерстве пропаганды.
Положение Олендорфа ещё более ухудшилось после назначения Гиммлера министром внутренних дел: был ограничен круг лиц, имевших доступ к «Сообщениям…», а через год они были и вовсе запрещены.
В мае 1945 года был арестован. Приговорён к смертной казни на одном из последующих Нюрнбергских процессов (Процесс по делу об айнзатцкомандах). Повешен.