В семилетнем возрасте потерял мать, воспитывался дедом. Учился в Экс-ан-Прованс и Марселе, думал стать священником. В 1872 поселился в Париже, познакомился с Малларме, Ришпеном, Шарлем Кро, позднее — с Артюром Рембо, начал публиковаться. Путешествовал с Рембо по Великобритании, переписывал его книгу Озарения. В 1875 познакомился с Верленом, получил через него от Рембо рукопись Озарений для возможной публикации (она не состоялась), надолго подружился с ним.
С 1878 служил по министерству образования, путешествовал, среди прочего побывал в Бейруте, преподавал в Изере и Париже. Печатался как журналист, в том числе — под многочисленными псевдонимами. В 1891 пережил мистическое озарение, был помещён в психлечебницу в Бисетре, через несколько месяцев вышел оттуда. Впоследствии вёл жизнь нищего бродяги, совершил паломничество в Рим и Сантьяго-де-Компостела. В 1911 вернулся в родной город. Умер от продолжительной голодовки.
Стихи Нуво в основном были опубликованы после его смерти. Он оказал сильнейшее влияние на Аполлинера и сюрреалистов — в частности, Луи Арагон считал его вовсе не малым, а по-настоящему большим поэтом, равным Рембо. В родном городе его именем названа улица, на доме, где он жил и умер, помещена памятная доска.
Стихи Нуво переводили Майя Квятковская, Олег Чухонцев, Юлий Даниэль и др.