Член КПСС с 1940 года, член ЦК (1952—1976).
Доктор экономических наук, профессор, член-корреспондент Академии наук СССР по Отделению экономических, философских и правовых наук (политическая экономия социализма) с 1960, академик Академии наук СССР по Отделению экономики (экономика) с 1966, вице-президент АН СССР. Член-корреспондент Академии наук ГДР с 1967.
Окончил Харьковский институт народного хозяйства (1926).
В 1940 г. в Институте экономики АН СССР защитил кандидатскую диссертацию «Возникновение частной собственности на движимое имущество», научным руководителем был Константин Островитянов, оппонентом Д. Т. Шепилов.
С 1943 года на партийной работе (Харьковская область), в 1946—1949 годах секретарь Харьковского областного комитета КП(б) Украины.
Был членом Главной редакции «Большой советской энциклопедии» 3-го издания; главным редактором Экономической энциклопедии «Политическая экономия»; председателем первого научного совета по социологии — Научного совета по проблемам конкретных социальных исследований АН СССР. При его поддержке на базе Отдела конкретных социологических исследований Института философии АН СССР был создан Институт конкретных социальных исследований (ИКСИ) АН СССР — первый социологический институт.
В 1972 ИКСИ как слишком «либеральный» научный центр был подвергнут реорганизации в Институт социологических исследований, которая сопровождалась увольнением многих ведущих сотрудников (таких как Ю. А. Левада, И. С. Кон, А. А. Галкин и др.). Был вынужден покинуть пост директора и А. М. Румянцев.
Награжден двумя орденами Ленина, орденом Октябрьской Революции, двумя другими орденами, а также медалями.
Румянцев создал в институте «прекрасную либеральную атмосферу. Лишь временами он собирал руководство института — руководителей крупных проектов, отделов, заместителей директора — и просто мы говорили на разные темы, как правило, даже не столько административные вопросы обсуждались … его интересовало содержание, как у нас идет дела, в каком направлении, какие проблемы будем изучать. Румянцев активно настаивал на том, чтобы мы использовали госстатистику, потому что социологи ею вообще пренебрегали… Он сказал на одном собрании, довольно узком: „Вы знаете, когда размышляю о ситуации в нашей стране, в обществе в целом, я думаю, что все формации возникли естественным путем, и только социалистическая формация возникла организованно — путем организованных действий масс. Не отсюда ли все наши проблемы? Вот над этим надо подумать“. Он вообще иногда собирал нас за тем, чтобы предложить какую-нибудь генеральную философскую идею: „Подумайте над этим…“ Ничего не диктовал, не вникал детально ни в один проект. Но предлагал какой-то предмет для размышлений». (Владимир Ядов — профессор-социолог).
«Я бы определил такое его социальное качество, что ли, тип, довольно редкий в то время: интеллигентный марксист, сторонник, если можно так выразиться, правового социализма. Еще я его называл про себя „пражский социал-демократ“. Он же приехал из журнала „Проблемы мира и социализма“. (Там были Грушин, Карякин, Борис Пышков — и все они потянулись к нему, именно зная его…)…
Был эпизод, который доказывает, что вопрос о правах личности, в том числе праве на свое мнение, он высоко ценил. Это эпизод с Борисом Орловым, собкором „Известий“, который тогда не захотел описывать оккупацию в Праге. Из Чехословакии его вернули, он долго был не у дел, не знали, куда его „приткнуть“. Ввиду того, что я знал Румянцева еще по „Правде“, и он уже организовывал Институт социологии, я помню, попросил его о встрече. Мы ехали в его машине, я очень хорошо охарактеризовал Бориса и просил взять его на работу. Конечно, возьму, говорил Алексей Матвеевич, конечно. Но он интересно это объяснял. Мы правильно поступили, что вступили в Прагу, прекратили контрреволюцию. Но каждый человек имеет право не сразу это понять, имеет право усомниться… Поэтому какие могут быть вопросы? Вы говорите, он хороший работник, честный человек. Да, он, наверное, честно усомнился в правильности принятого решения. Разве можно за это наказывать? Я в ЦК все время говорил, что многие люди не сразу нас поймут. Надо терпеливо их выслушивать, перевоспитывать. <…> Вот такой был Алексей Матвеевич. Но тем не менее его институт по тем временам был отдушиной, крышей, где была полная возможность продвигать дело вперед по заранее заданному направлению. По крайней мере, социологию-то именно при нем удалось поставить». (Лен Карпинский — журналист, политолог).