Несмотря на то, что родилась в провинции, была очень образована и обладала пытливым умом. Знала четырнадцать иностранных языков. Читала запоем, поглощала новинки европейской литературы и внимательно следила за отечественной словесностью. В молодые годы у неё был роман с князем Григорием Николаевичем Вяземским, вследствие которого она забеременела. Мать Бахметевой предъявила обвинения князю, суть которых заключалась в том, что князь затягивает время с женитьбой на её дочери, и это оскорбляет материнскую гордость. Если князь отказывается жениться, родственники дамы вызывают его на дуэль. Григорий принимает вызов и стреляться с ним выходит брат Софи, Юрий. В результате дуэли, состоявшейся в 1847 году в Петровском-Разумовском, Юрий гибнет. 29 февраля 1848 году, так и не дождавшись предложения руки и сердца, вне брака рожает дочку, Софью Бахметеву. Во избежания слухов ребёнка оформляют как племянницу, дочь брата Петра.
Софья Андреевна Бахметева, после смерти брата, не смогла выносить косых взглядов и косвенных упрёков в его гибели. Она покидает родовое имение Смольково и скоропалительно выходит замуж за Льва Миллера — племянника Екатерины Львовны Толстой, сестра которой была матерью Фёдора Ивановича Тютчева. Лев блестящий офицер, кавалергард, однако это не приносит счастья юной Софи, любви нет. Супруги подолгу живут раздельно и мало общаются.
В январе 1851 года София Миллер знакомится на маскараде в Большом театре с И. С. Тургеневым и графом А. К. Толстым. Софья Андреевна была в маске и заинтриговала Тургенева и они условились о втором свидании. Иван Сергеевич взял с собой молчаливого Толстого за кампанию. Увидев Софью без маски, Тургенев был сильно разочарован. Позже он скажет:
Несмотря на неказистое лицо, у Сони была красивая фигура и, кроме того, она была очень обаятельна и общительна. Позже состоялась приятная беседа за чаем, в ходе которой Тургенев заскучал, а Алексей Константинович, напротив, был очарован Софьей. Вскоре он посвящает ей следующие строки:
Позже эти строки будут положены на знаменитый романс Чайковского. Однако, пока Алексей Константинович сочинял романтические стихи и писал ей письма, у Софьи случился страстный роман с Григоровичем во время поездки в Саратов.
Скоро до Толстого дошли неприятные слухи. Он тотчас же собрался и поехал в Смольково, имение Бахметевых, для того чтобы потребовать объяснений. Спокойно выслушав Алексея Константиновича, Софья рассказала ему всю свою жизнь. Гнев Толстого сменился на нежность и он понял, что он тот человек, который избавит её от дурного прошлого и подарит семейное счастье. Но против брака была мать Толстого, считавшая Софью ужасной женщиной и муж, не дававший ей развода… Они встречались изредка, тайно. Лишь когда во время Крымской войны Толстой заболевает тифом, Софья, не таясь, приезжает выхаживать его. Наконец, после смерти матери Алексея Константиновича, через 12 лет после знакомства они обвенчались в Дрездене, в греческой церкви.
Поначалу жизнь у молодожёнов складывалась счастливая и гармоничная. Толстой никогда не ревновал жену к прошлому, он только беспредельно жалел её.
Но Софья Андреевна не могла всю жизнь оставаться тихой, скромной женой. Она скучала. Зимой скучала в Европе, разоряясь на безумную роскошь. А летом скучала в имении. Звала Алексея Константиновича по фамилии: «Какие глупости ты говоришь, Толстой!» Он её раздражал. Она даже не считала нужным скрывать от него, что ставит Тургенева как писателя намного выше. Естественно всё это очень расстраивало Алексея Константиновича и отражалось на его здоровье. Его мучили головные боли, астма, невралгия. Кто-то посоветовал ему снимать боли морфином. Позже это и погубило его — в 1875 году он умер от передозировки.
После похорон мужа Софья Андреевна переезжает в Петербург.
У себя в гостиной она устраивает литературный салон, где регулярно собираются писатели, поэты и влиятельные люди. На одном из таких вечеров она завязывает романтическое знакомство с Достоевским и он становится её частым гостем, до самой его смерти в 1881. Оставшиеся годы Софья Андреевна много путешествовала, общалась и умерла в 1895 году, в Лиссабоне. По завещанию её перезахоронили в имении Красный Рог, рядом с Алексеем Константиновичем.