Родился в городе Гурьеве, в семье уральского казака, урядника И.Д.Железнова. Спустя несколько месяцев после его рождения , отец пропал без вести, оставив семью практически без средств к существованию. Железнова И.И. воспитала и подготовила к учёбе мать.В 1836 году приехал в город Уральск, для поступления в войсковое училище. В 1841 году после успешного окончания училища он возвратился в Гурьев. В 1844 году его устраивают в канцелярию наказного атамана, затем в этом же году он определился в Гурьевскую линейную команду, откуда через 2 месяца получил назначение начальником Красноярского форпоста, где он прожил более года. Отсюда весной 1846 года был направлен на службу в киргизскую степь, в Уральское укрепление. В 1847 году закончил службу и вернулся в Уральск. В 1848 году он записался в штат полковой канцелярии в составе экстренного полка Уральского казачьего войска. В 1849 году полк выступил в Москву, а затем в Киев.В 1851 году полк вернулся на родину. В 1852 году был произведен в чин хорунжего "за отличные умственные способности". Позже в Москве он состоял адъютантом командира казачьего полка К.Ф.Бизянова и жил в его квартире, как член семьи. В московском кругу литераторов он познакомился и развивал свой литературный талант под влиянием М. П. Погодина, И. С. Аксакова и A. H. Островского. Впервые молодой офицер опубликовал в журнале «Москвитянин» 1854 №№ 9-10, свою работу «Картины Аханного рыболовства»., а в № 14 за тот же год была опубликована его работа "Башкирцы". Дальнейшие работы помещались им в «Русском вестнике», «Библиотеке для чтения» и «Отечественных Записках». В 1858 появились в отдельном издании его «Уральцы — очерки быта уральских казаков», сразу обратившие на автора внимание и обнаружившие в нём недюжинный художественный талант.
Впоследствии занятия Железнова направлены на сбор материалов по истории и этнографии уральского казачества. Значительная часть этих богатых материалов не была обработана самим Железновым, а опубликована после его смерти, в обработке Г. Курилина («Уральские Войсковые Ведомости», 1869—1871) и послужила основой для исследований Витевского В.Н. по истории Оренбургского края (ныне — Оренбургская область) и Уральского казачьего войска.
Историко-этнографический материал частично напечатан Железновым при жизни («Предания и песни уральских казаков»), а частично вошёл во 2-е издание «Уральцев» (1888). В 1862 Железнов был выбран в асессоры члены войсковой канцелярии, ведавшей всеми делами казацкой общины, а в 1863 году был назначен атаманом севрюжьего рыболовства. Его прямота и открытая защита попираемых интересов уральских казаков нажили ему врагов среди начальства; произошло крупное столкновение, дошедшее до высших сфер, и Железнова постигла опала и преследование со стороны наказного атамана, выразившиеся в том, что без всяких законных оснований его назначили на службу в степь.
Эта несправедливость привела к тому, что 9 июня 1863 года И.И. Железнов покончил жизнь самоубийством, выстрелом из ружья. Немногие писатели пользовались такой популярностью на своей родине, как Железнов: в глазах земляков он был героем-защитником их интересов перед правительством и перед всем грамотным людом. Всякий казачонок на всем протяжении земель Уральского казачьего войска знал Железнова и его «Василия Струняшева» (заглавие одного из очерков Железнова). В городе Уральске на его могиле был выстроен памятник, выстроенный почитателями писателя на средства, собранные по подписке (до наших дней не сохранился).
«Полное собрание сочинений» Железнов, изданное в 1888 и снабжено биографическим очерком; в его состав вошло много неизданного. Кроме того, в то время остались в рукописях его некоторые произведения, не пропущенные в свое время цензурой. Отдельные оттиски «Василия Струняшева» быстро разошлись среди местного населения.
В настоящее время в городе Уральске переизданы книги И. И. Железнова, на одном из зданий, выстроенных на месте снесенного старого кладбища, имеется мемориальная доска.