В 1949 году окончил факультет русского языка и литературы Хабаровского педагогического института.
С 1952 года — в УрГУ им. А. М. Горького. В 1961—2005 — заведующий кафедрой русского языка и общего языкознания УрГУ. Доктор филологических наук (1970), профессор (1971), заслуженный деятель науки РСФСР (1988). Муж известного филолога Т. В. Матвеевой.
Скончался 9 октября 2010 года в Екатеринбурге.
А. К. Матвеев — автор более 270 научных публикаций, глава научной школы в области ономастики и топонимии. Внёс значительный вклад в исследование практических и теоретических проблем этимологии, ономастики, диалектологии, древнейшей истории финно-угров. Был широко известен как блестящий лектор, педагог, эрудит.
Создатель топонимической экспедиции УрГУ — уникального научного сообщества, накопившего миллионные картотеки полевых лексических и ономастических материалов. Под руководством А. К. Матвеева составлены большинство томов основного корпуса «Словаря русских говоров Среднего Урала» (1981—1988). Он также руководил созданием «Словаря говоров Русского Севера» (тт. 1—3) и «Материалов к словарю финно-угро-самодийских заимствований в говорах Русского Севера» (т. 1, 2004). А. К. Матвеевым были подготовлены первый топонимический и первый оронимический словари Урала.
А. К. Матвеев был главным редактором всероссийского научного журнала «Вопросы ономастики» с момента его создания до своей смерти.
В УрГУ А. К. Матвеев в разное время читал курсы «Введение в языкознание», «Общее языкознание» и «Введение в славянскую филологию», а также спецкурсы: «Топонимия Урала», «Методы топонимических исследований», «Происхождение славян (лингвистический аспект)», «Меря и мерянский язык», «Индоевропейцы и индоевропейские языки». Среди его учеников — известные специалисты в области диалектологии и ономастики: проф. Е. Л. Березович, проф. Т. Н. Дмитриева, проф. М. Э. Рут и др.
Под руководством А. К. Матвеева были защищены 6 докторских и более 30 кандидатских диссертаций.