В 1932—1939 гг. занимался фортепиано под руководством Робера Казадезюса, но с началом Второй мировой войны поступил в Политехническую школу, а в 1942 г. ушёл в партизаны. По окончании войны изучал гармонию и композицию у Рене Лейбовица. В 1948 г. дебютировал как пианист, и с 1954 г. стал одним из активных участников концертного проекта Пьера Булеза «Domaine musical».
Эльфер был выдающимся специалистом по фортепианной музыке композиторов-современников. Он исполнил премьеры таких произведений, как «Эрихтон» Янниса Ксенакиса (1974), «Стансы» Бетси Жолас (1978), Концерт № 1 Луиса де Пабло (1980), «Превращения» Микаэля Жарреля (1983). Дважды (1976 и 2000) Эльфер записал все фортепианные сочинения Арнольда Шёнберга, среди его записей также все фортепианные пьесы Дебюсси и Равеля, ряд произведений Белы Бартока, Альбана Берга, Дариуса Мийо, Альбера Русселя, Булеза.