В 1905 году вступил в германскую армию. За особые заслуги произведен в лейтенанты. Участник Первой мировой войны. После демобилизации оставлен в рейхсвере. 1 февраля 1933 года произведен в подполковники. С 1 октября 1934 года инспектор войск связи вермахта.
К 1940 году Фельгибель довольно высоко продвинулся по служебной лестнице до Начальника службы связи вермахта. В его ведении находились вопросы связи, а также разведки с помощью средств связи. Фельгибель обеспечивал бесперебойную связь между всеми государственными, партийными и высшими военными органами, руководил развитием средств связи и прочее. В руках Фельгибеля также находилась организация радиосвязи между Гитлером и Верховным Главнокомандованием, включая распределение шифров и кодов.
Фельгибель открыто высказывался против политики нацизма, чем вызвал недоверие самого Гитлера, но его профессионализм сделал его незаменимым. Осуждая политику нацистов, Фельгибель примкнул к немецкому Сопротивлению под руководством Штауффенберга. В случае успеха военного переворота кандидатура Фельгибеля рассматривалась заговорщиками на пост министра почты. Являясь своего рода «инсайдером» в «Волчьем логове» Фельгибель был крайне необходим для обеспечения успеха операции «Валькирия»
20 июля после взрыва Фельгибель должен был перерезать связь между штабом Гитлера и Берлином, что позволило бы его коллегам по сопротивлению взять в свои руки управление правительством.
Увидев Гитлера живым, Фельгибель отказался от условленного звонка в Берлин. Ведь он должен был сообщить, состоялось ли покушение или нет. Но такая ситуация, что после произведенного покушения Гитлер уцелеет предусмотрена не была. Нерешительность Фельгибеля подкрепил Штифф, принявший решение, что ввиду этого государственный переворот начинать не следует и теперь надо лишь заботиться о безопасности — своей собственной и других заговорщиков.
После провала операции «Валькирия» Фельгибель был арестован по обвинению в государственной измене. 10 августа 1944 годаНародной судебной палатой был приговорен к смертной казни через повешение. 4 сентября повешен в берлинской тюрьме Плётцензее.
В фильме операция «Валькирия» роль Эриха Фельгибеля сыграл актер Эдди Иззард.