В 1934 году поступил в знаменитую Высшую нормальную школу, в 1937 году был призван в армию. Во время оккупации Франции фашистами, будучи евреем, скрывался от гестапо по подложным документам. В 1943 году, тем не менее, защитил диссертацию в Страсбурге. После войны был профессором в Сорбонне и Политехнической школе.
Основные работы в области функционального анализа, особенно теории распределений, то есть обобщённых функций, где он систематически изложил основные результаты теории (необходимо отметить более ранние работы С. Л. Соболева в этой области, который фактически является признанным автором-первооткрывателем теории обобщённых функций. См. также примечания в статье Соболев, Сергей Львович), за что получил в 1950 году Филдсовскую премию. Позднее Шварц усилил свои результаты, доказав (вместе с Ж.Дьёдонне) теоремы о двойственности в пространствах Фреше. Также важны его работы в области топологии и математической физики.
Среди его учеников наиболее известен А.Гротендик.
Шварц также занимался активной общественной деятельностью, был человеком левых взглядов. Он выступал против французской и американской агрессии во Вьетнаме, французской интервенции во время алжирской войны и советской во время афганской войны