После окончания Вологодской гимназии Сергей Васильевич Рухлов окончил курс наук в Петербургском университете по юридическому факультету, со степенью кандидата прав.
В 1873 году поступил на службу по министерству внутренних дел, где пробыл 6 лет, а затем перевёлся на службу в главное тюремное управление старшим делопроизводителем и уже в 1882 году назначен инспектором VI класса. В качестве последнего не раз был командирован для осмотра мест заключения гражданского ведомства и для указаний на месте порядка переустройства некоторых тюремных замков и пересыльной больницы в Москве. При его содействии улучшено санитарное состояние тюрем, введён закон об обязательном труде арестантов, во многих губерниях учреждены губернские тюремные инспекции.
В 1886 году за результаты, достигнутые преобразованием порядка управления и хозяйства в СПБ местах заключения, ему объявлено Монаршее благоволение.
В 1890 году назначен инспектором V класса и за труды по изданию Устава о ссыльных снова удостоен Монаршего благоволения.
В 1892 году назначен помощником статс-секретаря Государственного Совета в отделение государственной экономики, в 1895 г. он исполнял уже должность статс-секретаря, в 1897 назначен статс-секретарём и, наконец, в 1903 году — Товарищем главноуправляющего торговым мореплаванием и портами контр-адмирала Великого князя Александра Михайловича.
По упразднении этого ведомства 6 ноября 1905 года назначен членом Государственного Совета, с 1906 года назначался к присутствованию в Госсовете; заседал во 2-м департаменте.
С 29 января 1909 года — Министр Путей Сообщения, сменив на этом посту Генерал-лейтенанта Н. К. Шафгаузен-Шенберг-эк-Шауфуса. К тому времени ввод новых линий резко упал: если в 1906 году было открыто 2504 км путей, то в последующие годы этот показатель падает до нуля. Рухлов укрощает эту тенденцию. Начиная с 1912 года прокладка железных дорог повышается до почти 5 тыс. верст в год. В 1913 году эксплуатационная длина сети составила 58,5 тыс. км.
В годы его управления повысилась и пропускная способность железных дорог. В Сормово был построен паровоз серии С, развивавший в пробных поездках скорость 110 км/ч.
С. В. Рухлов выступал противником крупных монополий, считая их интересы противоположными интересам Казны, и являлся сторонником усиления государственного влияния на экономику. Он осуществлял выкуп в казну частных железных дорог и добился бездефицитной работы железных дорог.
Благодаря четкой работе железных дорог мобилизация в России в связи с началом первой мировой войны прошла в установленные сроки.
За службу С. В. Рухлов удостоен ряда высших российских орденов, вплоть до ордена святого Александра Невского, вручённого в 1910 году.
В мае 1912 года пожалован в статс-секретари к Его Императорскому Величеству.
В феврале 1913 году произведен в действительные тайные советники.
В 1914 назначен членом Комитета финансов.
10 октября 1915 года императрица Александра Фёдоровна пишет Императору : «Хвостов говорит, что виноват во всем Рухлов, так как он стар и не ездит сам посмотреть, как идут дела». Несколько дней спустя, объединенное заседание совещания по перевозкам и совещания по обороне решает «считать деятельность Министерства путей сообщения не вполне соответствующей тому, что надо было делать во время настоящей войны».
С. В. Рухлов подал в отставку и 27 октября 1915 года был освобожден по болезни с награждением бриллиантовыми знаками к Ордену св. Александра Невского.
Его преемником на посту стал А. Ф. Трепов, занявший менее чем через год пост председателя Совета министров.
В ходе Февральской революции арестован, находился под следствием. После освобождения уехал на Северный Кавказ.
29 августа 1918 года арестован в Ессентуках ЧК Северного Кавказа, содержался в Пятигорске в составе группы заложников по делу «О покушении на жизнь вождей пролетариата» и был вместе с ними зарублен шашками на горе Машук. Расправой руководил чекист Атарбеков. Дата казни в разных источниках приводится разная.
По инициативе С. В. Рухлова 11 марта 1901 года образовано «Общество вспомоществования учащимся в Санкт-Петербурге вологжанам» (с 1904 года — Общество вспомоществования вологжанам в Санкт-Петербурге). С. В. Рухлов выбран его первым председателем, позднее — почетным членом.
Постановлением Вологодской городской думы от 17 мая 1901 г. присвоено звание Почетного гражданина города Вологды «За неустанную благотворительную деятельность в пользу учащейся молодежи города».
С. В. Рухлов состоял почётным мировым судьёй по Вологодскому Уезду.
Принимал участие в работе различных комиссий. В 1904 году стал одним из инициаторов образования и первым председателем Российского морского союза. Был избран председателем Общества Российского Морского Права.
В 1906 году выступил как один из соучредителей Северного кружка любителей изящных искусств. Оказывал материальную помощь в осуществлении деятельности кружка, благодаря авторитету С. В. Рухлова в Санкт-Петербурге в выставках кружка в Вологде участвовали столичные художники.
В 1908 году стал одним из учредителей и первым председателем монархической организации Всероссийский национальный союз. В этом же году он стал одним из членов-учредителей Русского окраинного общества.
Покровительствовал организациям правого и ультраправого толка, в том числе Союзу русского народа.
Единственный в Совете Министров голосовал против циркуляра позволяющего открыть евреям свободное поселение с правом приобретения недвижимого имущества повсюду в Империи за исключением столиц, сельских местностей, казачьих областей и района Ялты.
Член Строительного комитета по сооружению в Петербурге белокаменного собора во имя Феодоровской иконы Божией Матери и Святого благоверного князя Александра Невского в память 300-летия царствования Дома Романовых, который сооружался по почину Союза Русского Народа.
Член Всероссийского Александро-Невского братства трезвости (ноябрь 1914).
Российской империи:
Медали:
Систематический сборник узаконений и распоряжений по тюремной части. СПБ, 1890 г. (в соавторстве с В. Н. Коковцевым).
Родители:
Жена:
Дети: