С 15 лет писал стихи. В 1948 приехал в Париж по приглашению Бретона. В 1950 вышла первая книга его стихов. С 1953 полностью посвятил себя скульптуре, оставив поэзию; в 1956 выставка его скульптурных работ состоялась в парижской галерее Фюрстенберг. За выходку в знак протеста против Алжирской войны (он помочился на могилу Неизвестного солдата) Дюпре был избит полицией, несколько месяцев находился в заключении, а затем в психиатрической лечебнице. Тайком вернулся к стихам. Отослав последнее из написанного Андре Бретону, Дюпре покончил с собой (повесился).
Большинство написанного Дюпре было опубликовано после его смерти и привлекло большое внимание молодых поэтов. Пьер Сегерс включил его в свою антологию «Современные проклятые поэты» (1972), книгу его избранного (1973) составил и сопроводил предисловием Жан-Кристоф Байи. Полное собрание стихотворений Дюпре (1990) вышло с предисловием Бретона и послесловиями Ж. Грака, А.Пьейра де Мандьярга, А.Жуфруа. Его книги иллюстрировали видные художники-сюрреалисты (Макс Эрнст, Жак Эроль, Туайен). Стихи переведены на английский, испанский, итальянский, румынский языки.