Отец — инженер, по рождению швейцарец, мать — француженка. В 1920 году родители разошлись, Армель остался с отцом, они переехали во Францию. Закончил лицей в Сен-Жермен-ан-Ле. После 1928 года порвал с отцом. Девять месяцев преподавал французский и гимнастику в лицее в Сирии, в 1930 году вернулся во Францию. Учился в Сорбонне. Первую книгу стихов выпустил в 1934 году. Подружился с Андре Массоном, Андре Бретоном, Жоржем Батаем, Полем Элюаром. Начал переводить (Гимны Новалиса вышли в его переводе в 1938 году, в 1940 году он взялся за Рильке).
Во время Второй мировой войны участвовал в Сопротивлении, входил в британское Управление специальных операций. В июне 1943 году был арестован гестапо, отправлен в лагерь во Френ, затем в Компьень, а потом в Бухенвальд, но по дороге ему удалось бежать, а в дальнейшем перебраться в Лондон.
После войны занимался переводами немецкой, английской, арабской, китайской и японской словесности — поэзии и прозы. Особенно значимы были его переводы немецких романтиков (составленная им книга Немецкие романтики, 1956, была переиздана в 1963 и 2004 годах). Дружил с Жаном-Луи Барро, Бернаносом, Чораном, его творчество высоко ценили Андре Бретон, Морис Бланшо, Ив Бонфуа.
В 1960 году купил ветряную мельницу в департаменте Ло и Гаронна, реставрировал её и с 1964 года жил на ней. Составил и откомментировал том произведений де Нерваля (1966). Умер в больнице после разрыва аорты и тринадцатидневной комы. Похоронен на кладбище неподалеку от своей мельницы.
С немецкого — Парацельс, Жан Поль, Новалис, Людвиг Тик, Гёльдерлин, Клейст, братья Гримм, Рильке, Канетти, Дюрренматт, Бубер, Кандинский, Клее, Вольс и др.
С английского — Облако неведения, Шекспир, Мелвилл, Стивенсон, Вирджиния Вулф, Чогьям Трунгпа Ринпоче.
С арабского — Тысяча и одна ночь.
С китайского — Лао Цзы, Сон в красном тереме.
С японского — Кавабата и др.
Также переводил богослужебные тексты с древнегреческого и латинского.