Сын стольника Ивана Ивановича Румянцева (ум. 1711). Будучи денщиком царя, женился на его метрессе, внучке боярина Артамона Матвеева — Марии Матвеевой.
Он был послан вместе с Толстым захватить царевича Алексея и привезти его в Петербург. Распространённая версия приписывает Румянцеву причастность к гибели царевича (1718); однако документ, представляющий собой письмо Румянцева некому Титову или Татищеву с описанием убийства, вероятней всего, является подделкой. Его же посылал Пётр I в Малороссию по делу о Полуботке, чтобы узнать настроение народа. 6 января 1726 года награжден орденом Св. Александра Невского.
При Анне Ивановне за нерасположение к немцам и протест против роскоши при дворе Румянцев был лишён чинов, ордена и сослан в казанскую деревню, но в 1735 году восстановлен в чине генерал-лейтенанта и сделан астраханским, а потом казанским губернатором и назначен командующим войсками, отправленными против взбунтовавшихся башкир.
В 1738 году Румянцева назначили правителем Малороссии, но скоро перевели в действующую армию, а в 1740 году назначили чрезвычайным и полномочным послом в Константинополь.
При императрице Елизавете Петровне враги А. П. Бестужева прочили одно время Румянцева в канцлеры, но Елизавета отклонила это назначение.