Родился в Нижнем Новгороде в очень богатой купеческой семье. Воспитывался в Нижегородском дворянском институте, но из-за болезни (туберкулёз) неоднократно прерывал учебу для лечения в санаториях. Неблагоприятное отношение к купеческим детям в Дворянском институте вынудило его перейти в реальное училище. В школьные годы увлекался живописью — брал уроки у А. О. Карелина. После семилетних занятий художеством увлекся историей, получил специальность археолога в Петербургском Археологическом институте. Попутешествовав по России и за границей, начал писать стихи. Под влиянием А. М. Пешкова и В. Г. Короленко обратился к прозе. За роман «Проклятый род» был проклят отцом и «прозябал без гроша» в столице.
С 1896 года начал печататься в нижегородских и самарских газетах. Первая книга стихов и прозы вышла в 1901 году. Переехав в Петербург, сотрудничал в «Биржевых ведомостях», журналах «Заветы», «Весы», «Золотое руно» и других. Восторженно встретил революцию 1905 года риторическими стихами «Кто за нас — иди за нами!» и самоотверженной работой в организации эсеров.
Следуя чьему-то совету, что водка помогает при туберкулёзе, Рукавишников пристрастился к выпивке. Борис Садовский писал: «Мой земляк И. С. Рукавишников, напиваясь, мотал головой, мычал и сердито швырял посуду. Узкая рыжая борода его купалась в бокале. Трезвый зато бывал очень мил».
Был дважды женат, второй раз на Нине Зусман. Красота и покровительство ей со стороны высоких лиц позволило Рукавишникову не погибнуть и занять неплохое общественное положение после Октябрьской революции. Он занимался организационно-педагогической деятельностью в области литературы: в 1919 году организовал в Москве «Дворец Искусств», а после его закрытия с 1921 года был профессором Московского высшего литературно-художественного института имени В. Я. Брюсова, где читал курс стиховедения.
В своих «Записках уцелевшего» князь С. М. Голицын вспоминает: «Иван Сергеевич Рукавишников читал у нас стихосложение. <…> Стихи он писал с вывертами. Будучи напечатанными, строки располагались в виде геометрической фигуры — треугольника, звезды, трапеции, еще как-то. С вида он был похож на мушкетера, хотя без шпаги, ходил в плаще, в широкополой шляпе, только без пера, в сапогах с широкими отворотами и носил длинные рыжеватые кудри и длинные, как два горизонтальных прутика, усы и длинную, узкую бородку в стиле Людовика XIII».
Умер в Москве, согласно некрологу в Институте социальных заболеваний «от туберкулеза горла». Похоронен в Москве на Ваганьковском кладбище.
Первые стихи Рукавишникова опубликованы в «Нижегородском листке» в 1896 году; в 1901 году вышла его первая повесть «Семя, поклеванное птицами».
Творчество Рукавишникова развивалось под знаком символизма. Его ранняя поэзия полна неясных мистических предчувствий; далекий от политических интересов, Рукавишников проповедует в своих стихах культ чистой красоты и неземной любви.
В 1914 году вышел сборник Рукавишникова «Близкое и далекое». Герои рассказов «Я, ты, он», «Ненависть» и других, вошедших в первую часть сборника («Близкое»), — опустошенные, не удовлетворенные жизнью люди. Мечущиеся и не находящие применения своим силам, они часто становятся на путь преступлений. Фантастико-мистические писания из библейских, древнеиндийских или древнеарабских времен составили второй раздел сборника («Далекое»). Рассказы Рукавишникова написаны ритмической, орнаментальной прозой.
Наибольшей известностью пользовался роман Рукавишникова «Проклятый род» (1912). В центре романа — история трех поколений купеческой семьи. Ценность романа — в ярких бытовых характеристиках купеческой среды: основателя фирмы «железного старика», героя эпохи начального накопления, и целой галереи его вырождающихся потомков-стяжателей и расточителей. В своих обличениях различных душевных уродств, порождаемых властью золота в буржуазном обществе, Рукавишников поднимается лишь до художника-декадента Виктора, разрывающего связи с миром «стяжателей» во имя погружения в мир «чистого искусства», в мир болезненных творческих исканий. Роман автобиографичен; прототипом «железного старика» послужил дед Рукавишникова.
Ему принадлежит также историко-бытовой роман «Аркадьевка» (1914).
Рукавишников известен как «мастер триолета».
Он использовал также формы русской народной песни в своих сказах «Степан Разин» (1925) и «Пугачевщина».
Был ревностным переводчиком украинской поэзии: в 1909 году издал сборник переводов «Молодая Украина», представляющий антологию оной, демонстрирующий знание и любовь к предмету (входит в шестой том Собрания сочинений).