Брайхер родилась в 1894 году в Маргейте. Она была внебрачной дочерью судовладельца и финансиста Джона Эллермана, одного из самых богатых людей Великобритании того времени.
Ребенком она много путешествовала по Франции, Италии и Египту. Когда ей исполнилось четырнадцать лет, ее родители поженились. В одном из путешествий она побывала на островах Сцилли, расположенных на юго-востоке от Англии и позаимствовала свой псевдоним от названия полюбившегося ей острова Брайхер.
Будучи взрослой, она часто бывала за границей и снискала расположение многих знаменитостей своего времени, включая Хэвлока Эллиса, Зигмунда Фрейда, Нормана Дугласа, Джеймса Джойса, Андре Жида, Гертруды Стайн, Сильвии Бич, Беренис Эббот, Эрнеста Хемингуэя и др. В поездках, которые она совершила между двумя мировыми войнами (1918), постоянной спутницей Брайхер была американская поэтесса Хильда Дулитл, основательница имажизма, называвшая себя H.D. по первым буквам своего имени. Брайхер и H.D. были любовницами.
H.D. была замужем за английским поэтом и писателем Ричардом Олдингтоном, написавшим, в частности, сборник стихов о двух любовницах-лесбиянках под названием «Любовь Миррины и Коналлис». H.D. хотела бросить своего мужа. Брайхер вышла в 1921 году замуж за американского писателя-гея Роберта МакЭлмона. Их союз был браком по расчету. Брайхер хотела получить свободу от своей семьи, а МакЭлмон нуждался в деньгах, которыми могла его обеспечить богатая Брайхер. Но и этот брак, несмотря на свое кажущееся удобство, окончился разводом в 1927.
В этом же году Брайхер выходит замуж во второй раз, на этот раз за Кеннета МакФерсона, написавшего роман о мужской гомосексуальности. Вместе со своим новым мужем Брайхер основала «Close Up» («Ближе») — пожалуй, лучший на то время журнал об искусстве немого кино. В это же время Брайхер и H.D. поселились в доме в Швейцарии, где H.D. продолжает писать стихи, а Брайхер — исторические романы. В 1947 году она покидает своего мужа.
Во время Второй мировой войны Брайхер и подруга Гертруды Стайн Алиса Токлас помогали еврейским беженцам скрыться от нацистов.
Умерла в Веве.
Одной из самых значительных работ Брайхер является книга «Проблемы кинематографа в Советской России» (1929). Еще одной ее заслугой является то, что она помогла Сергею Эйзенштейну завоевать симпатии английской публики. После Второй мировой войны Брайхер опубликовала многие исторические романы, а также автобиографию «The Heart to Artemis» (1963).