Родился в крестьянской семье. Окончил Иркутскую учительскую семинарию (1908).
В революционном движении с 1912 года, член РСДРП с 1913 года. В годы Первой мировой войны окончил Иркутскую школу прапорщиков, служил в Харбине.
В 1917 году председатель Совета в Харбине. В 1918—1919 годах командующий войсками Иркутского ВО, с 1920 года на партийной работе в Сибири, Дагестане. С марта 1924 года в Москве, работал заведующим агитационно-пропагандистским отделом МК, секретарём Краснопресненского райкома партии. В 1928—1930 годах замредактора газеты «Красная звезда». В 1930 член Президиума ВСНХ.
В 1924—1927 годах Рютин активно поддерживал Сталина в борьбе с Троцким и его сторонниками, с «новой» и объединённой оппозицией, возглавлял бригады боевиков, разгонявших оппозиционные собрания и демонстрации. А. Бармин вспоминал: «Один из секретарей райкомов Москвы по фамилии Рютин предложил создать боевые группы, вооруженные дубинками и свистками, которые должны были заглушать выступления ораторов от оппозиции. Другие группы боевиков по приказу ЦК должны были разгонять неофициальные собрания членов партии».
На XV съезде ВКП (б) Рютин большую часть своего выступления посвятил оппозиции; характеризуя оппозицию, в соответствии с партийными установками, как «социал-демократический уклон», Рютин говорил: «Эта система наших взглядов не позволяет нам, чтобы внутри нашей ленинской партии процветал социал-демократический уклон… Было бы ошибкой, было бы похоронами партии по первому разряду, если бы мы приняли в основу этот документ, если бы пошли на соглашение с оппозицией… Это было бы началом распада партии, победой троцкистской линии, это было бы узаконением внутри партии права на фракции, оттенки и на оттеночки, на борьбу с партией, на вынесение партийных разногласий на улицу. Партия на это не пойдет». «Если на одну чашку весов, — говорил далее Рютин, — положить ваши заслуги перед партией и перед рабочим классом, а на другую чашку весов все, что вы натворили и наблудили за эти два года, вторая чашка весов стукнет, — она перетянет, и в расчетах с вами давным-давно стерты с доски, с доски истории все ваши заслуги перед рабочим классом… Троцкизм и ленинизм вместе жить не могут, это — несоединимые элементы. Поэтому выбирайте: либо троцкизм, но вместе с Троцким — за воротами партии, либо ленинизм, тогда оставьте троцкистскую систему взглядов за воротами партии».
На том же съезде он впервые был избран кандидатом в члены ЦК.
Однако в 1928 году Рютин, как и многие московские работники, не принял сталинскую политику в деревне и методы индустриализации страны и поддержал правую оппозицию. В отличие от лидеров оппозиции, после их поражения не отрёкся от своих взглядов, искал в партии единомышленников и осенью 1930 года после доноса А. С. Немова решением ЦКК был исключен из ВКП(б) «за предательски-двурушническое поведение и попытку подпольной пропаганды право-оппортунистических взглядов» и 13 ноября арестован по обвинению в контрреволюционной агитации, несколько месяцев провёл в Бутырской тюрьме.
Интересны обстоятельства освобождения Рютина из заключения. Так как он на допросах стойко отрицал свою вину, то В. Р. Менжинский вынужден был обратиться к Сталину с просьбой уточнить дальнейшую судьбу Рютина, ссылаясь на то, что тот «изображает из себя невинно обиженного». «Нужно, по-моему, отпустить», — таков был ответ Сталина. 17 января 1931 года Особое совещание при ОГПУ оправдало Рютина за недоказанностью предъявленных ему обвинений.
После освобождения работал экономистом на предприятии «Союзэлектро». В 1932 году вместе с В. Н. Каюровым, М. С. Ивановым, П. А. Галкиным и ещё несколькими большевиками с дореволюционным стажем организовал, точнее, провозгласил «Союз марксистов-ленинцев» и попытался объединить вокруг него все оппозиционные силы. В обращении «Ко всем членам ВКП(б)» (1932) Рютин обвинил И. В. Сталина в извращении ленинизма и узурпации власти. В обширной рукописи «Сталин и кризис пролетарской диктатуры» он дал ещё более жёсткие оценки деятельности Сталина. Здесь Рютин уже признавал правоту Левой оппозиции в вопросах внутрипартийной жизни и, поскольку для левых были также неприемлемы сталинские методы коллективизации, «ликвидация кулачества как класса» и авантюристические темпы индустриализации, считал, что создал объединительную платформу.
Однако оппозиционеры неохотно шли на контакт с Рютиным, не доверяя ему, как недавнему «боевику» сталинской фракции; даже многие «правые», как, например, Стэн и его единомышленники, предпочитали «троцкистов» — подпольную организацию И. Н. Смирнова. Благодаря доносу одного из членов «Союза» небольшая организация Рютина была арестована ОГПУ очень скоро, уже в сентябре 1932 года, что повлекло за собой аресты многих оппозиционеров, имевших неосторожность ознакомиться с рукописью Рютина, в том числе Зиновьева, Каменева, Стэна.
Исследователь деятельности «Союза марксистов-ленинцев» к.и.н. И. А. Анфертьев отмечает по поводу провала организации Рютина: «Очевидно, что в тех условиях попытка объединить противников генсека с целью сместить его с поста руководителя партии и государства не имела перспектив <…> Участники группы были арестованы до их оформления в организацию, на стадии подготовки программных документов. У группы не было ни устава, ни программы, ни членских билетов. Не входили члены группы и в состав каких-либо антисоветских или антигосударственных организаций или тем более — террористических центров. Их деятельность была пресечена на стадии изложения намерений о желательности смены партийного и государственного руководства, а соответственно и реализуемого им политического курса».
В сентябре 1932 года Рютин был арестован по делу «Союза марксистов-ленинцев»; на допросах держался исключительно мужественно, брал всю вину на себя: «Никаких вдохновителей за мной не стояло и не стоит. Я сам был вдохновителем организации, я стоял во главе ее, я один целиком писал платформу и обращение». Особым совещанием при ОГПУ Рютин был приговорён к смертной казни, но за него заступились Киров, Орджоникидзе (которых Рютин подверг резкой критике в своей рукописи), С. Косиор, Чубарь. 11 октября 1932 г. коллегией ОГПУ СССР он был приговорен к 10 годам тюремного заключения по обвинению в участии в контрреволюционной организации правых. От 5 до 10 лет тюрьмы получили все соратники Рютина. Содержался сначала в Суздальском политизоляторе, затем в Верхнеуральском политизоляторе.
Летом 1936 года Рютин был возвращён в Москву в связи с готовившимися тогда Московскими процессами. Содержался во внутренней тюрьме НКВД. Однако отказался отвечать на вопросы следователя и подписывать заранее заготовленные «протоколы допросов» несмотря на жестокие пытки и обещания дать свободу. Пытался покончить с собой.
10 января 1937 Военная коллегия Верховного Суда СССР приговорила Рютина к смертной казни (процесс по вынесению приговора длился 25 минут). Расстрелян в тот же день в здании ВКВС. Погребён в Донском монастыре. Вместе с Рютиным были расстреляны также и 11 ранее репрессированных его сторонников, в том числе А. Каюров, Иванов и др.
Жена Рютина, Евдокия Михайловна умерла в 1947 году в лагере в Казахстане, сын Василий расстрелян в 1938 году в Лефортовской тюрьме, Виссарион убит уголовниками в лагере на Дальнем Востоке в 1943(?) (точная дата смерти не известна). В 1956 и 1958 годах оставшаяся в живых дочь Рютина, Любовь Мартемьяновна прошедшая через застенки НКВД и лагеря подавала ходатайство о реабилитации Рютина. Однако Н.С. Хрущёв и его соратники, хотя и не считали оппозиционеров контрреволюционерами, были ещё не готовы признать за членами партии права на оппозицию.
Рютина полностью реабилитировали и восстановили в партии лишь в 1988 году.