Карл Штернхейм родился в семье банкира и газетного магната, вырос в Ганновере и Берлине. В 1897—1902 годах он изучал философию, психологию и юриспруденцию в Мюнхене, Гёттингене и Лейпциге, однако не закончил образования. После университетской учёбы ведёт неспокойную жизнь со многими женщинами, страдает нервными заболеваниями. Свою писательскую деятельность Штернхейм начал в 1900 году в Веймаре, где женился на Евгении Хаут (нем. Eugenie Hauth). Их брак распался в 1906 году, после чего Карл женился на Тее Лёвенштайн (нем. ), урождённой Бауэр, которая родила ему двух детей.
Теа была дочерью состоятельного фабриканта и помогла мужу построить дворец Бельмезон (нем. Schloss Bellemaison) в Мюнхене. Здесь, в доме, украшенном произведениями искусства из собственной коллекции, Штернхейм работал в компании таких творческих людей, как Мехтильда Лихновски (нем. ), Макс Рейнхардт и Франк Ведекинд. С 1908 году Штернхайм вместе с Францем Бляйем (нем. ) выпускал журнал «Гиперион» (нем. ). В 1912 году Штернхейм переехал в Бельгию, а в 1918 году, спасаясь от Первой мировой войны, в Санкт-Мориц и Утвиль в Швейцарии. В 1927 году Карл и Теа развелись. Третьей женой Штернхейма стала дочь Франка Ведекинда, актриса и певица Памела Ведекинд (нем. ), их брак продолжался с 1930 по 1934 год. А с 1935 года он жил с Генриеттой Карбонара (нем. Henriette Carbonara) в эмиграции в Бельгии, где в 1936 году опубликовал свои мемуары под названием Vorkriegseuropa im Gleichnis meines Lebens.
Работы Штернхейма были запрещены нацистами. Причиной тому служило не только его еврейское происхождение, но и беспощадное высмеивание в произведениях морального разложения германской буржуазии. 3 ноября 1942 года, после немецкой оккупации Нидерландов и Бельгии, Штернхейм покончил с собой. Похоронен в Брюсселе на кладбище Икселя (англ. ).
В круг друзей Штернхейма входили Готфрид Бенн, Карл Эйнштейн, Франц Пфемферт (нем. ), Вальтер Ратенау, Эрнст Штадлер, Гуго фон Чуди (нем. ), Фриц фон Унру (нем. ) и Отто Фрисландер (англ. Otto Vrieslander). Некоторое время Штернхейм был близок экспрессионистам, издававшим журнал Die Aktion. В 1915 году Штернхейм передал денежную сумму от присуждённой ему Премии Фонтане ещё никому не известному Францу Кафке.