В 16 лет вышла замуж за графа Франческо ди Кастильоне, в 1855 году родила ему сына. В том же году переехала в Париж, где вскоре стала возлюбленной Наполеона III. Так она, среди прочего, выполняла поручение своего кузена, графа Кавура убедить Наполеона не препятствовать объединению Италии. Их связь длилась лишь два года, но она открыла красавице двери в гостиные германской императрицы Августы, Отто фон Бисмарка, Адольфа Тьера.
С 1856 году она стала постоянной моделью фотографа императорского двора Пьера-Луи Пьерсона, оставившего свыше 400 её снимков. Пьерсон любил снимать Кастильоне в различных театральных костюмах, несколько раз он отдельно снимал ее ноги. Большое собрание её фотографий поступило в 1975 году в музей Метрополитен. В 1857 году портрет графини написал известный английский живописец Джордж Фредерик Уотс.
После разрыва с Наполеоном III и нескольких лет пребывания в Италии графиня вернулась во Францию, поселилась в Пасси. В ходе франко-прусской войны она выполнила важное секретное поручение — отговорить Бисмарка от оккупации Парижа (столица не была оккупирована).
В 1880-е годы, страдая от неврастении, затворилась в своём особняке на Вандомской площади, где стены были затянуты черным, а зеркала занавешены. Она не хотела видеть, что с ней сделало время, избегала чужих взглядов и выходила из дома лишь по ночам.
Умерла от апоплексического удара. Похоронена на кладбище Пер-Лашез.
Известный поэт-символист, друг Уистлера и Пруста, коллекционер, библиофил и денди Робер де Монтескью, заворожённый красотой графини, тринадцать лет писал её биографию (издана в 1913 году), а после смерти Кастильоне собрал большинство её фотографий, 275 из них находятся сейчас в нью-йоркском музее Метрополитен.
В 1955 году о графине ди Кастильоне был снят фильм (реж. Жорж Комбре), в заглавной роли выступила американская актриса Ивонн де Карло. Её жизни посвящены несколько романов.
Во Флоренции на площади Святого Августина в 2000 году была установлена памятная доска в честь графини ди Кастильоне.
Итальянский парфюмер Стефано Фречери создал духи Графиня ди Кастильоне (см.: ).
Черты графини вошли в портрет Клоринды, героини романа Золя Его превосходительство Эжен Ругон (1876). Ряд женских образов в романах Габриеле д'Аннунцио повторяет черты графини ди Кастильоне.