В 1873 году окончил Сен-Сирскую военную школу. Служил на Мадагаскаре, с 1903 года командир пехотной дивизии, с 1913 года член Высшего военного совета. С началом Первой мировой войны, назначен командующим 3-й армии. Под его командованием 3-я армия потерпела тяжелое поражение в Арденнской операции от германских войск. После этого 30 августа 1914 года Рюффе был отправлен в отставку.