Вирджиния и Аллан прожили вместе в окружении других членов семьи несколько лет ещё до их свадьбы. Пара часто переезжала, чтобы обеспечить По лучшие условия работы. Их временными резиденциями стали Балтимор, Филадельфия и Нью-Йорк. Через несколько лет после их свадьбы имя По зазвучало в связи с громким скандалом наряду с именами Франсис Осгуд и Элизабет Эллет. Слухи о предполагаемом романе мужа так сильно повлияли на женщину, что даже на смертном одре она твердила, что её убила Эллет. После смерти тело Вирджинии По было погребено под той же надгробной плитой, что и тело её мужа, в Балтиморе, штат Мериленд. Единственное существующее подлинное изображение жены писателя — акварельный портрет, написанный уже после её смерти.
После смерти жены Эдгар Аллан По чувствовал себя подавленным, начал злоупотреблять алкоголем. Считается, что борьба жены с болезнью и смертью повлияла на многие произведения писателя, как поэтические, так и прозаические, где в качестве главной героини появляется молодая умирающая женщина. Например: «Аннабель Ли», «Ворон».
Вирджиния Элиза Клемм родилась 15 августа 1822 года и была названа в честь старшей сестры (малышка умерла всего за 10 дней до рождения Вирджинии). Её отец Вильям Клемм был торговцем в Балтиморе. Он женился на Марии По, матери Вирджинии, 12 июля 1817 года, после смерти его первой жены Гарриэт, двоюродной сестры Марии. У Клемма было пятеро детей от первого брака, в браке с Марией появились еще трое. После его смерти в 1826 году семье осталось очень скромное состояние. Родственники также не оказывали финансовой помощи, так как изначально были против этого брака. Семейный бюджет составляли те деньги, что она могла заработать шитьем, а также пенсия её парализованной матери — 240 долларов в год.