Виктор Руффи изучал право в Лозанне (1841—1844) и Гейдельберге, где получил диплом адвоката (1848). В 1847 году, лейтенантом принял участие в войне с Зондербундом.
С 1848 по 1858 год был окружным судьёй, затем в январе 1858 года открыл адвокатскую контору. С 1858 по 1867 год (с небольшим перерывом) избирался членом Национального совета Швейцарии, а в 1863 стал его президентом. Одновременно он был членом Большого совета кантона Во (1859—1863). В 1861 году, как вице-президент Конституционного совета, принимал участие в разработке проекта новой конституции кантона. В феврале 1862 года возглавил министерство внутренних дел кантона. В 1867 году был председателем правительства и переехал в департамент образования.
10 декабря 1869 года он был избран президентом Швейцарии на 1870 год, однако не успев вступить в должность неожиданно умер в возрасте 46 лет от острого ревматического воспаления.
В Лозанне его именем названа улица Avenue Victor-Ruffy.
Его сын Эжен Руффи также был членом Федерального совета и президентом Швейцарии.