Карл Шварцшильд родился во Франкфурте-на-Майне в еврейской семье (отец: Мозес Мартин Шварцшильд, мать: Генриетта Сабел), был старшим из шести детей. В окружении, где рос Шварцшильд, поощрялось многостороннее образование с упором на музыку и искусства; Карл был первым в семье, проявившим интерес к естественным наукам. Посещал до 11-летнего возраста еврейскую начальную школу, затем Государственную гимназию им. Лессинга во Франкфурте, с этого времени проявляет интерес к астрономии, собирает карманные деньги для покупки линз и сооружения телескопа. Этот интерес поощрялся другом его отца, профессором Эпштейном, владевшим собственной любительской обсерваторией. Карл подружился с его сыном, Паулем Эпштейном, в будущем известным математиком. Уже в возрасте 16 лет, будучи гимназистом, Шварцшильд опубликовал две небольшие статьи об определении орбит планет и двойных звёзд. Получив аттестат зрелости с отличием, с 1890 изучал астрономию в Страсбургском университете.
Затем в 1892 году перешёл в Мюнхенский университет, закончил его в 1896 году с большим отличием (summa cum laude), получив учёную степень доктора (тема диссертации: «К теории Пуанкаре фигур равновесия во вращающихся однородных жидких массах», научный руководитель — Хуго фон Зеелигер).
С 1897 года Шварцшильд работал 2 года ассистентом в обсерватории Куффнера в Вене. Там он занимался фотометрией звёзд, разработал формулу для определения времени выдержки для астрономической фотометрии и обнаружил явление невзаимозаместимости в фотографии, позже названное его именем (эффект Шварцшильда). В 1899 году вернулся в Мюнхенский университет, где получил должность приват-доцента, защитив хабилитационную диссертацию об измерениях блеска звёзд. В 1900 г., задолго до появления общей теории относительности, Шварцшильд исследует возможность того, что пространство является неевклидовым, получив нижнее ограничение на радиус кривизны пространства 4 млн а.е. для случая эллиптической геометрии и 100 млн а.е. — для гиперболической геометрии. В это время он также исследует движение пылевых частиц в хвостах комет под действием лучевого давления и выводит из наблюдений размеры этих частиц.
В 1901 Шварцшильд стал экстраординарным (через год, в возрасте 28 лет — ординарным, то есть полным) профессором в Гёттингенском университете и одновременно директором обсерватории. Там он работал с такими личностями, как Давид Гильберт и Герман Минковский. 11 июня 1909 г. избран в Королевское астрономическое общество (Лондон). Во время работы в Гёттингене Шварцшильд занимался электродинамикой и геометрической оптикой, выполнил большой обзор фотографических звёздных величин, изучал перенос излучения в звёздах и фотосфере Солнца. Участвовал в экспедиции в Алжир для наблюдения полного солнечного затмения 30 августа 1905 г.
22 октября 1909 г. Шварцшильд женится на Эльзе Розенбах, дочери профессора хирургии Гёттингенского университета. У Карла и Эльзы было трое детей — Агата, Мартин (позже профессор астрономии в Принстоне) и Альфред.
В конце 1909 года Карл Шварцшильд стал директором Астрофизической обсерватории в Потсдаме (этот пост считался наиболее престижным для астронома в Германии), а в 1912 году избран членом Прусской академии наук. Опубликовал монографию «Aktinometrie» (1 ч. — 1910, 2 ч. — 1912). В этот период он интересуется спектрометрией, исследует фотографии кометы Галлея, полученные во время её возвращения в 1910 г. Летом 1910 г. совершает поездку в США, посетив несколько американских обсерваторий. В 1914 Шварцшильд пытался (безуспешно) обнаружить предсказанное теорией относительности гравитационное красное смещение в солнечных спектрах.
В начале Первой мировой войны (1914 год) пошёл добровольцем в армию, несмотря на то, что его возраст превышал 40 лет; служил сначала в Намуре (Бельгия) на военной метеорологической станции, затем, получив чин лейтенанта, был переведён в штаб дивизии дальнобойной артиллерии, дислоцированной сначала во Франции, затем в России. Шварцшильд занимался расчётами траекторий снарядов; в 1915 направил в Академию сообщение о поправках на ветер и плотность воздуха к траекториям, опубликованное лишь в 1920 г., после рассекречивания. Был награждён Железным крестом. На восточном фронте заболел аутоиммунной болезнью пузырчаткой (англ. pemphigus), в то время неизлечимой. В фронтовом госпитале в России Шварцшильд написал две статьи по общей теории относительности и фундаментальную работу по квантовой теории Бора — Зоммерфельда. В марте 1916 года Шварцшильд был комиссован, вернулся в Германию и через два месяца умер; похоронен на Центральном кладбище Гёттингена.
Его работы по теории относительности содержали первые точные решения полевых уравнений общей теории относительности со сферической симметрией — так называемое внутреннее решение Шварцшильда для невращающегося шарообразного тела из однородной жидкости и внешнее решение Шварцшильда для статического пустого пространства вокруг сферически симметричного тела (второе сейчас именуют обычно просто решением Шварцшильда). Решение Шварцшильда было первым точным решением уравнений Эйнштейна с классической чёрной дырой. Поэтому несколько терминов из физики чёрных дыр получили его имя, например радиус Шварцшильда, Шварцшильдовы координаты и так далее.
В честь Карла Шварцшильда в 1960 году была названа обсерватория (г. Таутенбург в 10 км от Йены; в обсерватории находится крупнейший в Германии телескоп), а также открытый в 1916 г. астероид (837) Шварцшильда, кратер на Луне, улицы в Гёттингене и других городах. Германское астрономическое общество (Astronomische Gesellschaft) с 1959 г. ежегодно присуждает медаль Карла Шварцшильда, первым лауреатом которой стал его сын Мартин.