Родился 23 апреля 1912 года в деревне Бугор ныне Нагорского района Кировской области в семье крестьянина. Русский. Член ВКП(б)/КПСС с 1943 года. Окончил 5 классов, работал в колхозе. На действительной службе в РККА в 1934—36, 1939—40 и с июля 1941 года. Участник советско-финляндской войны 1939—1940 годов. В 1943 году прошел обучение и получил звание младшего лейтенанта.
Командир взвода 936-го стрелкового полка (254-я стрелковая дивизия, 52-я армия, 2-й Украинский фронт). Участвовал в форсировании Днепра 13 ноября 1943 года и героическом удержании плацдарма под Каневом. Пропал без вести в ноябре 1943 года.
Указом Президиума Верховного Совета СССР от 22 февраля 1944 года за мужество, отвагу и героизм, проявленные в борьбе с немецко-фашистскими захватчиками, младшему лейтенанту Рослякову Анатолию Яковлевичу присвоено звание Героя Советского Союза.
В честь него названа улица в Нагорске.