Родился в семье евангелического пастора. После получения среднего образования поступил на военную службу в 1907. В качестве офицера Генерального штаба принимал участие в Первой мировой войне, после окончания которой остался служить в рейхсвере. С 1929 — майор. В 1932 из-за нарушения кодекса чести офицера (выразившемся в связи с женой своего товарища) Остер был вынужден уйти в отставку. В мае 1933 он поступил на работу в исследовательское управление военной авиации, а с октября того же года был гражданским служащим в разведывательном отделе (абвере) военного министерства. В 1934 убийство нацистами его бывшего начальника, генерала Курта фон Шлейхера, способствовало негативному отношению Остера к режиму НСДАП.
В 1935 ставший во главе военной разведки — абвера — адмирал Вильгельм Канарис вернул Остера в армию и пригласил его на должность начальника центрального отдела этой службы, ведавшего кадрами и финансами; тогда же ему был присвоен чин подполковника. В 1939 был произведён в оберсты (полковники), в 1942 — в генерал-майоры.
Как и Канарис, придерживался национально-консервативных взглядов и негативно относился к национал-социализму. В 1938 был одним из главных участников военного заговора против Гитлера во время «судетского кризиса», который потерпел неудачу из-за того, что Англия и Франция, проводившие политику «умиротворения», согласились на требования фюрера о передаче Судетской области нацистской Германии. Это привело к росту популярности Гитлера внутри страны и сделало невозможным военное выступление против его режима.
Во время Второй мировой войны Остер продолжал участвовать в антинацистской деятельности. Остер передавал за границу информацию о предстоящем нападении Германии на Бельгию и Нидерланды. Будучи куратором кадровой политики абвера он способствовал приёму на службу в этот орган многих противников нацистов, включая пастора Дитриха Бонхёффера. Он получал информацию о планируемых преследованиях антифашистов и предупреждал их о готовящихся акциях. Участвовал в организации тайных миссий Бонхёффера в Швейцарию и Швецию и адвоката Йозефа Мюллера в Ватикан — их участники, официально выступая в качестве сотрудников абвера, стремились установить контакт с англичанами и американцами от имени антигитлеровской оппозиции. Участвовал в подготовке покушений на Гитлера.
Участник заговора Ханс Бернд Гизевиус вспоминал об Остере:
В 1943 гестапо расследовало дело о переправке евреев в Швейцарию под видом агентов военной разведки; при этом эмигрирующие евреи получали значительные суммы в валюте в качестве компенсации за оставленное в Германии имущество (официальным обоснованием этих действий было то, что агентов за границу без денег не отправляют). Сотрудники абвера в связи с этим были обвинены в незаконном переводе валюты за границу. В рамках этого дела 5 апреля 1943 был арестован связанный с Остером сотрудник абвера Ханс фон Донаньи, причём Остер вначале неудачно пытался помешать аресту, а затем сделал попытку скрыть компрометирующие документы, которые Донаньи не успел уничтожить.
В тот же день Остер был отстранён от занимаемой должности. Затем его обвинили в том, что, приняв на работу в абвер Дитриха Бонхёффера, он способствовал освобождению «неблагонадёжного» религиозного деятеля от военной службы. Результатом расследования стало увольнение Остера с военной службы. Генерал поселился в Дрездене, где находился под контролем гестапо, что сделало невозможным продолжение его активной антинацистской деятельности. Участники заговора против Гитлера планировали его назначение на пост председателя Имперского военного суда. Участник заговора, будущий судья Федерального конституционного суда Германии Фабиан фон Шлабрендорфф, считал, что после смещения Остера Сопротивление потеряло своего «коммерческого директора», и только в лице Клауса графа Шенка фон Штауффенберга получило равноценного наследника.
На следующий день после неудачного покушения на Гитлера 20 июля 1944 г. Остер был арестован. 8 апреля 1945 он в результате ускоренной судебной процедуры был приговорён к смерти в концлагере Флоссенбург вместе с адмиралом Канарисом и пастором Бонхёффером. В тот же день они были повешены, причём перед смертью осуждённых раздели догола и в таком виде заставили идти к виселице.
Генерал Остер был женат на Гертруде Кнооп, происходившей из семьи бременского текстильного промышленника. У них было трое детей, один из которых — Ахим — был генерал-майором бундесвера. Будучи полковником, он в 1962 занимал пост военного атташе в Испании. В этом качестве Ахим Остер по поручению тогдашнего министра обороны Франца Йозефа Штрауса участвовал в организации ареста в Испании заместителя главного редактора немецкого журнала «Шпигель» Конрада Алерса, обвинённого в разглашении секретной информации об обороноспособности Германии. Это дело, закончившееся в итоге в пользу «Шпигеля» и приведшее к отставке Штрауса, стало одним из значимых этапов во взаимоотношениях между государством и СМИ в Европе.