Родился в семье выходца из многодетной крестьянской семьи Владимира Фёдоровича Жигулина (род. 1902) и Евгении Митрофановны Раевской (род. 1903), правнучки участника Отечественной войны 1812 года, поэта-декабриста Владимира Раевского.
Отец работал почтовым служающим и страдал открытой формой чахотки. Поэтому детьми (их кроме Анатолия в семье было ещё двое — младшие брат и сестра) занималась в основном мать. Она любила поэзию и часто читала детям стихи. Мать умерла в 1999 году.
В 1947 году Анатолий и несколько его друзей-одноклассников создали «Коммунистическую партию молодёжи» — подпольную организацию, целью которой молодые люди видели борьбу за возврат советского государства к «ленинским принципам». Также «в Программе КПМ содержался секретный пункт о возможности насильственного смещения И.В. Сталина и его окружения с занимаемых постов» (Жигулин 1989, с. 45). Вскоре организация насчитывала порядка 60 человек.
Однако даже тщательная конспирация не спасла участников КПМ от раскрытия их «заговора» и последующего преследования. Осенью 1949 года начались аресты членов организации. Всего было арестовано примерно 30 человек, то есть половина от общего числа членов КПМ. В числе арестованных оказался и Анатолий. Арестованных содержали в здании №39, находящемся на улице Володарского.
24 июня 1950 года решением «Особого совещания» Жигулин был приговорён к 10 годам лагерей строгого режима.
В сентябре 1950 — августе 1951 годов отбывал наказание в Тайшете (Иркутская область), работал на лесоповале.
После этого был отправлен на Колыму, где провёл три каторжных года.
Освобождён в 1954 году по амнистии, в 1956 полностью реабилитирован.
В 1960 году Жигулин окончил лесотехнический институт. За год до этого в Воронеже вышел первый сборник его стихов — «Огни моего города».
4 ноября 1961 года Жигулин знакомится с Александром Твардовским, который с января 1962 года публикует в «Новом мире» несколько подборок стихов поэта. А в 1963 году в свет выходит первый «московский» сборник стихов Жигулина — «Рельсы», который собрал множество положительных отзывов критики. В том же году Жигулин поступает на Высшие литературные курсы Союза писателей СССР. С этого времени он живёт и работает в Москве.
В 1964 году в Воронеже выходит в свет книга стихов поэта «Память», затем в Москве публикуются его сборники «Избранная лирика» («Молодая гвардия», 1965) и «Полярные цветы» («Советский писатель», 1966).
В последующие годы из печати регулярно выходят сборники стихов Жигулина — это «Прозрачные дни» (1970), «Соловецкая чайка», «Калина красная — калина чёрная» (оба 1979), «Жизнь, нечаянная радость» (1980), «В надежде вечной» (1983).
В 1987 году опубликован цикл стихов поэта «Сгоревшая тетрадь».
В 1988 году в 7 и 8 номерах журнала «Знамя» вышла в свет автобиографическая повесть Жигулина «Чёрные камни», вызвавшая большой общественный резонанс. В книге он рассказывал о своей семье, о детстве и юности, но подробнее всего — о подпольной организации «Коммунистическая партия молодёжи» (КПМ), действовавшей в Воронеже «один неполный год — с октября 1948-го по август 1949 года» (Жигулин 1989, с. 45), об аресте её участников и о жизни в заключении. Повествование иллюстрируется стихами самого Жигулина, написанными в те годы.
В июле 2000 года поэт закончил составление нового сборника — «Стихотворения», вышедшего небольшим тиражом уже после его смерти.
Умер Анатолий Жигулин в Москве на 71-м году жизни.