Родился в семье геологов, эвакуировавшейся в Саратов. Закончил геологический факультет ЛГУ, работал геологом-изыскателем. Увлекся русской иконой.
С 1963 начал самостоятельно заниматься живописью, сблизился с В. Немухиным, испытал его влияние. В 1966—1967 его выставки прошли в молодежных клубах Ленинграда, в 1966 состоялась выставка в Нью-Йорке, в галарее Бетти Парсонс. Рухин был одним из инициаторов Бульдозерной выставки, выставки в Измайловском парке в Москве (1974).
Погиб при пожаре собственной мастерской, спасая друзей (обстоятельства возникновения пожара остались невыясненными)
Элементы поп-арта соединялись у Рухина с поисками сакрального в искусстве.
После смерти художника десятки его выставок прошли в Европе, США, Японии, Израиле. Персональная выставка произведений Рухина в Санкт-Петербурге прошла в 1996 году.