Анна Карловна, дочь старшего брата Екатерины I Карла Самойловича Скавронского, возведённого в 1727 году в графское достоинство. Кто была её мать - неизвестно, звали её Марьей Ивановной. Девочкой была взята ко двору Цесаревны Елизаветы Петровны и назначена гоф-фрейлиной.
Елизавета Петровна очень любила свою кузину и после восшествия на престол, выдала её замуж за Михаила Илларионовича Воронцова. Свадьба была отпразднована при дворе с большой пышностью 31 января 1742 года, государыня лично проводила новобрачных в их дом и осталась на ужин и на бал. 25 апреля 1742 года Анна Карловна была пожалована в статс-дамы. Спустя два года, в 1744 году, М.И.Воронцов вместе с братьями получил титул графа.
Императрица Елизавета постоянно отмечала Анну Карловну и подчёркивала своё родство с ней; во время заграничного путешествия Воронцовых в 1746 году последовало даже распоряжение , чтобы ни жена русского посланника в Берлине, ни графиня Воронцова не целовали руки у принцессы Цербстской, матери великой княгини Екатерины Алексеевны.
Анна Карловна постоянно находилась в обществе императрицы, а Елизавета часто бывала запросто у неё в доме, где встречалась со всеми иностранными резидентами при русском дворе, ухаживавшими за женой великого канцлера и считавшимися с её влиянием в иностранной политике. 29 июня 1760 года Анна Карловна была возведена в звание обер-гофмейстерины.
В короткое царствование Пётра III Воронцовы принадлежали всецело к партии императора и находились в числе лиц, сопровождавших его 28 июня 1762 года в бегстве на галере из Ораниенбаума в Кронштадт.
9 февраля 1760 года Анна Карловна получила от Пётра III Орден Святой Екатерины большого креста. Говорили, что по воцарении Екатерины II графиня Анна Карловна вернула императрицы свой кавалерственный орден, но получила его обратно. На коронации Екатерины II Воронцова согласно церемониалу оправляла на государыне порфиру и Андреевскую ленту.
Овдовев в 1767 году, графиня Анна Карловна не играла видной роли при дворе, хотя цесаревич Павел Петрович называл её тетушкой.
Анна Карловна отличалась от своих заурядных, бесцветных сестер и тёток и представляла собой одну из наиболее интересных и симпатичных женщин 18 столетия. Екатерина Алексеевна, будущая императрица, писала о ней в 1756 году:
Анна Карловна пользовалась известностью как женщина замечательно красивая; даже во времена Петра III, когда ей было уже под сорок, она всё ещё считалась в числе первых красавиц Петербурга. Кроме привлекательной наружности Воронцова обладала умом и добрым сердцем. Собственные письма Анны Карловны к дочери, рисуют её женщиной веселой, впечатлительной, обладавшей живым темпераментом, любительницей поболтать. В отличие от других светских дам Воронцова недурно владела русской грамотой.
По свидетельству Гельбига, графиня Воронцова была прелестная женщина, но любила выпить. Большая мотовка, модница и щеголиха, благодаря положению мужа постоянно водившая знакомство с чужестранными министрами в Петербурге и, как она выражалась "с целым магазейном посланниц", она знала многие дипломатические секреты и не чужда была политики. Екатерина II в своих "Записках" говорит :
Имея лишь одну дочь, Анну Михайловну, графиня Воронцова была сильно к ней привязана; несчастное супружество дочери с графом А.С.Строгановым, окончившееся разводом, и ранняя её смерть оставили её "неутешною". Как своих Анна Карловна любила детей брата мужа, графа Р.И.Воронцова , рано оставшихся без матери; из них младшая дочь, Екатерина, с четырёх лет воспитывалась в её доме. Позднее известна как княгиня Дашкова, которую Анна Карловна под конец "за беспутное её поведение отрекла от своего дома". Дашкова так характеризовала свою тетку:
Анна Карловна любила изящные искусства и знала в них толк, немало повидав во время путешествий по Европе. Её великолепный дом постоянно посещали артисты, писатели, учёные, государственные люди. Д.И.Фонвизин называл графиню Воронцову в числе первых лиц, которым он читал своего "Недоросля" сразу же после его написания.
Умерла Анна Карловна 31 декабря 1775 года , погребена на Лазаревском кладбище Алексндро-Невской лавры.
В браке с М. И. Воронцовым имела четверых детей: