Анатолий Ширшов родился 8 августа 1921 года в селе Колывань Новосибирской области.
В 1939 году он окончил среднюю школу в г. Алейске Алтайского края и в том же году поступил в Томский университет. После первого курса он перевёлся на заочное отделение и работал учителем математики в г. Алейске.
В 1942 году А. И. Ширшов добровольцем ушёл на фронт в составе 6-го стрелкового корпуса добровольцев-сибиряков, воевал на Западном, Калининском, 2-м Белорусском фронтах.
С 1946 года А. И. Ширшов работал в Станично-луганской средней школе Ворошиловградской области и учился на заочном отделении Ворошиловградского пединститута, который закончил в 1949 году.
В 1950 году А. И. Ширшов был принят в аспирантуру механико-математического факультета Московского государственного университета (МГУ), и с этого момента началась его научная деятельность, которая до 1960 года проходила в стенах МГУ.
В 1958 году А. И. Ширшов защитил докторскую диссертацию по алгебре.
С 1960 года и до самой своей кончины А. И. Ширшов работал в Институте математики СО АН СССР, много лет (с 1960 по 1974) был заместителем директора Института математики, являлся заведующим отделом Теории колец. За годы работы в Сибирском отделении АН СССР А. И. Ширшов был награжден тремя орденами Трудового Красного Знамени и медалями.
Анатолий Илларионович Ширшов скончался 28 февраля 1981 года.
Много лет он вел большую преподавательскую работу в Новосибирском государственном университете. Под его руководством было защищено большое количество кандидатских диссертаций, пять его учеников стали докторами наук.
А. И. Ширшов являлся членом ряда Учёных советов и редакционных коллегий («Сибирский математический журнал», «Квант», «Алгебра и логика»). Он был членом бюро отделения математики АН СССР, членом Национального комитета советских математиков.
А. И. Ширшов внес решающий личный вклад в создание и оформление одного из актуальных направлений современной алгебры — теории колец, близких к ассоциативным. Велик вклад А. И. Ширшова в теорию ассоциативных колец и в исследование алгоритмических проблем алгебры. Достижения А. И. Ширшова и его школы получили широкое мировое признание.