Родился в бедной семье, в рабочем квартале рядом с кладбищем Пер-Лашез. Первые дни жизни прошли под грохот пушек, громивших баррикады Парижской коммуны. Дед, почтовый служащий, был коллекционером-любителем, собирал гравюры Калло, литографии Домье. Отец, ремесленник по профессии, христианский социалист по убеждениям, отдал сына в протестантскую школу. С 1885 г. Руо два года учился у художника-витражиста, потом, с 1891 г. — в Академии изящных искусств у символиста Гюстава Моро, был его любимым учеником, а после смерти мастера (1898) стал хранителем его музея.
Познакомился с учениками Моро Матиссом, Марке, стал одним из основателей Осеннего Салона (1903). Сблизился с католическим писателем Леоном Блуа. Выставлялся вместе с фовистами, но держался в стороне от их декоративности, скорее продолжая линию Ван Гога.
С 1907 в круг постоянных тем живописи и графики Руо входят судьи, клоуны, проститутки. Они приобретают характер аллегорий, выстраиваясь вокруг основного аллегорического образа зрелой живописи Руо — фигуры Христа (нередко — Христа и Магдалины). Дружит с религиозным философом Жаком Маритеном. В 1910 г. персональная выставка Руо проходит в столичной галерее Друэ. Его живопись вдохновляет немецких живописцев, впоследствии составивших ядро экспрессионизма.
При этом художник жил в крайней бедности. Только в 1917 г. Руо подписал с известным коллекционером и торговцем картинами Амбруазом Волларом контракт, обеспечивший ему на десятилетия некоторый достаток и свободу в работе.
В 1921 г. публикуется первая монография о творчестве Руо, в 1924 г. его большая ретроспективная выставка проходит в галерее Друэ, художник получает от французского правительства орден Почётного легиона. В 1929 г. Руо создает декорации и костюмы для постановки Джорджем Баланчиным балета С. Прокофьева «Блудный сын» в парижском Театре Сары Бернар. Начиная с 1930-х гг. его живопись и графика вызывают международный интерес. C 1939 г. , после гибели Воллара, начинается многолетняя тяжба Руо с наследниками Воллара. В ходе её он демонстративно сжигает в 1948 более трёхсот своих работ.
Известность Руо растёт, его выставки проходят в Лондоне, Нью-Йорке, Чикаго, Бостоне, Вашингтоне, Сан-Франциско, Нью-Йорке. Он с успехом участвует в Венецианской Биеннале 1948 г. Восьмидесятилетие художника в 1951 г. отмечается Католическим центром французских интеллектуалов в столичном Дворце Шайо, он становится командором ордена Почётного легиона. После смерти художника французское государство устраивает ему официальные похороны.