Родился 14 июня 1868 года в Вене. Отец, Леопольд Ландштейнер, видный журналист, доктор права, издатель газеты, умер, когда мальчику было 6 лет. Карла воспитала мать, Фанни Хесс, к которой он был очень привязан. В молодости принял католичество.
В 1891 году окончил медицинский факультет Венского университета. Затем работал в университете патологом.
В 1891—1896 годах заинтересовался химией, которую изучал в течение 5 лет, практикуясь в Вюрцбурге, Мюнхене и Цюрихе.
В 1896 году вернулся в Вену, устроился ассистентом в Венский институт гигиены. В этом же году он установил, что лабораторные культуры бактерий могут быть агглютинированы путем добавления иммунной сыворотки крови.
С 1898 года работал на кафедре патологической анатомии Венского университета. Наставниками его были профессор А. Вейхсельбаум, установивший бактериальную природу менингита, и А. Френкель, открывший пневмококков (диплококк Френкеля). В это время он увлекся иммунологией.
В 1900 году Ландштейнер, тогда ассистент Венского института патологии, взял кровь у себя и пяти своих сотрудников, отделил сыворотку от эритроцитов помощью центрифуги и смешал отдельные образцы эритроцитов с сывороткой крови разных лиц и с собственной. В совместной работе с Л. Янским по наличию или отсутствию агглютинации Ландштейнер разделил все образцы крови на три группы: А, В и 0. Два года спустя ученики Ландштейнера, А. Штурли и А. Декастелло, открыли четвертую группу крови — АВ. Обратив внимание на то, что собственная сыворотка крови не дает агглютинации со «своими» эритроцитами, ученый сделал вывод, известный сегодня как непреложное правило Ландштейнера: «В организме человека антиген группы крови (агглютиноген) и антитела к нему (агглютинины) никогда не сосуществуют». За свои открытия Ландштейнер получил в 1930 году Нобелевскую премию.
В 1908—1911 годах, работая главным патологоанатомом в Венской королевской больнице Вильгенины, Ландштейнер сосредоточил внимание на изучении полиомиелита.
В 1909 году совместно с С. Поппером доказал инфекционную природу полиомиелита.
В 1911 году стал профессором Венского университета.
В 1916 году женился на Хелен Власто. В 1917 году у них родился сын Эрнст.
Во время первой мировой войны эмигрировал в Голландию.
В 1922 году получил приглашение возглавить лабораторию в центре медицинских исследований Рокфеллеровского института (Нью-Йорк).
24 июня 1943 года у Ландштейнера в лаборатории за рабочим столом начался тяжелый приступ стенокардии. Его госпитализировали в клинику Рокфеллеровского института. Двумя днями позже (26 июня) он скончался.
В мае 2005 года, в ходе 58-й сессии Всемирной ассамблеи здравоохранения, в Женеве было принято решение 14 июня (день рождения Карла Ландштейнера), ежегодно проводить Всемирный день донора крови (Резолюция WHA58.13).