Мать происходила из рода графов Каменских. Отец умер до рождения сына от тифа (1919). Мальчика воспитывал отчим, зубной врач.
Окончил историко-филологический факультет Среднеазиатского университета (1942, в 1938—1941 учился на историческом факультете МГУ), аспирантуру Института истории АН СССР в 1947 году. Кандидат исторических наук (1947, диссертация о землевладении и хозяйстве Иосифо-Волоколамского монастыря в конце XV — начале XVIII вв.). Доктор исторических наук (1959, «И. С. Пересветов и его современники»), профессор (1970).
С 1947 — младший научный сотрудник, с 1951 — старший научный сотрудник Института истории (затем — Института истории СССР) АН СССР.
С 1947 по 1972, одновременно, преподавал в Московском государственном историко-архивном институте: старший преподаватель (1947—1950), доцент (1950—1970), профессор (1970—1973).
Специалист в области истории России с XI по XVIII вв. Автор многочисленных фундаментальных работ по проблемам социально-политической истории страны. Специалист по истории общественной мысли России, вопросам историографии и источниковедения. Создатель научной школы.
Один из авторов и редакторов многотомных трудов: «История Москвы» (т. 1, 1952); «Очерки истории СССР. Период феодализма. Конец XV — начало XVII в.» (1955); «Всемирная история» (т. 4, 1958); «История СССР. С древнейших времен до наших дней» (т. 2, 1966). Редактор и составитель многих сборников исторических документов, а также Собрания сочинений В. О. Ключевского.
В конце жизни работал над мемуарами и историко-генеалогическим исследованием «Сумерки и надежды», посвященным роду графов Каменских и их потомству.
Считал, что опричнина была направлена против трех очагов феодального сепаратизма, которые могли представлять угрозу царскому самодержавию — Старицкого удела, церкви и Новгорода. Выступал как против апологетики политического курса Ивана Грозного, так и против того, чтобы представлять этот курс следствием исключительно маниакального психоза царя.
В последних работах пришёл к выводу о том, что процесс централизации в средневековой Руси носил противоречивый характер. Признавая историческую закономерность централизации и её положительные стороны, обращал внимание на тяжёлые последствия роста самодержавия, подавлявшего свободолюбивые устремления народа, ликвидировавшего политические свободы. Отошёл от «промосковской» интерпретации хода и результатов династической борьбы на Руси. Был склонен рассматривать участвовавших в феодальной войне XV века галицких князей как носителей определённого прогрессивного начала, как представителей некой демократической вольницы, за которыми стояло населения, ещё не подчинившееся московскому диктату, напр., жители Вятской земли.
Зимин — автор концепции о времени создания «Слова о полку Игореве» и его авторе, согласно которой это произведение было написано в 80-х годах XVIII в. российским духовным писателем архимандритом Иоилем (Быковским) и является выдающейся имитацией памятника древнерусской литературы. Он считал, что произведение в то время откликалось на актуальные политические проблемы и могло восприниматься как «призыв к присоединению Крыма и победоносному окончанию русско-турецкой войны». По мнению Зимина, источниками «Слова о полку Игореве» были «Задонщина», русские летописи (по преимуществу Ипатьевская), памятники русского, украинского и белорусского фольклора. Версия Зимина опирается на его трактовку текстологической проблемы соотношения «краткой» и «пространной» редакции Задонщины, которую он детально разрабатывал на протяжении многих лет.
Свою концепцию изложил в книге «„Слово о полку Игореве“. Источники, время написания, автор», изданной ротапринтом тиражом 101 экз. и розданной (с условием возврата) участникам дискуссии, состоявшейся в Отделении истории АН СССР 4—6 мая 1964. Большинство участников дискуссии не согласилось с точкой зрения Зимина, а его работа так и не была опубликована, что было связано с административным запретом, притом, что целый ряд оппонентов Зимина считали, что его исследование носило серьёзный аргументированный характер и имело право на публикацию. До конца жизни продолжал придерживаться своей точки зрения, уточняя и дополняя текст рукописи. Частично точка зрения Зимина изложена в его статьях, посвящённых «Слову о полку Игореве». Окончательный вариант книги А. А. Зимина о «Слове о полку Игореве» (увеличенный в два раза по сравнению с ротапринтным изданием), был опубликован лишь в 2006 году тиражом 800 экземпляров.