В 1999 году окончил Уиндвудскую школу (англ. Windwood School) в Лос-Анджелесе. До начала актёрской карьеры Шварцман был барабанщиком и автором песен в группе Phantom Planet. После ухода из группы он продолжает музыкальную деятельность, но теперь уже в качестве кинокомпозитора, и, в частности, является одним из авторов саундтреков для телесериалов «Одинокие сердца» и «Смертельно скучающий», а также к фильму «Приколисты».
Как актёр Шварцман дебютировал в 1998 году в фильме режиссёра Уэса Андерсона «Академия Рашмор». За роль Макса Фишера он был номинирован на соискание множества кинопремий и удостоился награды Young Artist Awards как лучший комедийный актёр.
В 2007 году создал сценарий к фильму «Поезд на Дарджилинг» в соавторстве с Уэсом Андерсоном и своим кузеном Романом Копполой, который также является одним из продюсеров картины.