Родился в мещанской семье в селе Глухово Богородского уезда Московской губернии (ныне — один из районов города Ногинск). Поступил в Лефортовское военно-фельдшерское училище, но вскоре его бросил. Служил кочегаром в торговом флоте, работал слесарем на оборонном заводе Г. Листа. В октябре 1915 его призвали на службу во 2-й Балтийский флотский экипаж. В июне 1916 он дезертировал и вплоть до Февральской революции ходил на торговых судах по Чёрному морю, укрываясь под вымышленной фамилией.
После амнистии дезертирам царского времени Анатолий вернулся на флот и оказался в Кронштадте. Будучи к этому времени убеждённым анархистом, Железняков не признавал Временного правительства. В июне 1917, защищая занятый анархистами особняк Дурново, бросал бомбы в казаков. Был приговорён к 14 годам каторжных работ, но вскоре бежал. Был избран в Центробалт — революционный орган моряков Балтийского флота.
Был начальником караула Таврического дворца, где собралось Всероссийское учредительное собрание.
Вошёл в историю фразой «Караул устал» при роспуске Учредительного собрания.
В конце июня — начале июля 1918 в распоряжение Киквидзе прибыл бывший начальник Бирзульского укрепрайона под Одессой Анатолий Железняков во главе отряда моряков с двумя броневиками — «Тигр» и «Лейтенант Шмидт». Киквидзе сделал Железняка командиром 1-го стрелкового полка, а комиссаром к нему был назначен одесский эсер-максималист и поэт-футурист Борис Черкунов.
Во время восстания левых эсеров в Москве в июле 1918 Железняков выразил им сочувствие и выступил за уничтожение Совнаркома как органа власти. Затем у него начался конфликт с Подвойским (по вопросу о снабжении полка), который закончился тем, что он приказал арестовать Железнякова. Благодаря Киквидзе ареста матрос Железняк избежал, но в его полку началось брожение, и солдаты разбежались. Вскоре Железняков был обвинён в крушении поезда Подвойского и объявлен вне закона. Он бежал из-под расстрела и с помощью левых эсеров скрылся в Тамбове. Но в октябре 1918 попал под амнистию, был назначен командиром 1-й советской конной батареи и сотрудником культурно-просветительского отдела в Елани. В ноябре 1918 под фамилией Викторс Железняков был направлен на подпольную работу в Одессу. Там действовал совместно с боевой дружиной Котовского, с которым тесно сблизился. В это время «матрос Железняк» участвовал в налётах на банки и грабежах. После занятия Одессы Красной Армией 6 апреля 1919 Железняков был избран председателем профсоюза моряков торгового флота. Но гражданская война не утихала, и через месяц он получил назначение на должность командира бригады бронепоездов.
Погиб в бою 26 июля 1919. 3 августа тело Железняка было предано земле на Ваганьковском кладбище в Москве, рядом с могилой Киквидзе. Его похоронили со всеми воинскими почестями.
Памятники матросу Железняку:
в г.Пятихатки Днепропетровской области
Имя А. Железнякова носят:
Именем Железнякова были названы также бронепоезд, эскадренный миноносец, речной артиллерийский корабль, крейсер и тральщик.
В тексте песни содержится много курьёзов; так, согласно сюжету, Железняков гибнет в бою со своими единомышленниками-махновцами