Рано остался без родителей. С пяти лет его воспитывали старшие сёстры. С 1932 года, после переезда в Таганрог, учился в средней школе N2 им. А. П. Чехова, которую с золотой медалью закончил в 1936 году. В школе, помимо успехов в математике и физике, увлекался литературой, писал пьесы.
Поступил на отделение математической физики физического факультета МГУ.
В 1941 году, после окончания 3 курса, ушёл добровольцем на фронт — в 8-ю Краснопресненскую дивизию народного ополчения. Участвовал в тяжёлых боях при обороне Москвы. 12 декабря, находясь с группой бойцов в разведке, подорвался на мине и получил тяжёлое ранение. 10 месяцев провёл в госпиталях. После этого работал учителем в средней школе на золотом прииске «Коммунар» в Ширинском районе Красноярского края.
В декабре 1943 года, по вызову ректората МГУ, А. А. Самарский на костылях вернулся в Москву для продолжения учёбы. После окончания университета в 1945 году поступил в аспирантуру МГУ к А. Н. Тихонову.
В 1957 году А. А. Самарский защитил докторскую диссертацию. Член-корреспондент АН СССР по отделению математики (1966). Академик АН СССР (1976).
В 1990 году А. А. Самарский по поручению правительства создаёт Институт Математического моделирования Академии наук и становится его директором. Являлся заместителем академика-секретаря Отделения информатики, вычислительной техники и автоматизации РАН, председателем Научного совета РАН по комплексной проблеме «Математическое моделирование». Член редколлегии журнала «Успехи математических наук», членом редколлегии «Журнала вычислительной и математической физики».
А. А. Самарский умер 11 февраля 2008 года после тяжёлой и продолжительной болезни.
А. А. Самарский — крупнейший специалист в области вычислительной математики, математической физики, теории математического моделирования. Создатель теории операторно-разностных схем, общей теории устойчивости разностных схем.
С 1948 года совместно с академиком А. Н. Тихоновым разрабатывал численные методы и вел первые в СССР прямые расчеты мощности взрыва атомной, а позже — водородной бомбы, хорошо совпавшие с испытаниями. В этих работах были заложены основы математического моделирования и созданы важнейшие принципы конструирования и обоснования разностных схем и параллельных вычислений.
С 60-х годов вместе с учениками занимался проблемами лазерного термоядерного синтеза, магнитной и радиационной газодинамики, создания мощных лазеров, аэродинамики, атомной энергетики, физики плазмы и многими другими.
А. А. Самарский — соавтор научного открытия «Эффект Т-слоя», которое занесено в Государственный реестр открытий СССР под № 55 с приоритетом от 1965 г.
Самарский А. А. — автор более 30 учебников и монографий. В их числе: