Окончил Экономический университет имени Карла Маркса в Будапеште. Член сборной Венгрии по фехтованию на шпагах в 1965—1977 годах. Чемпион Олимпийских игр 1968 и 1972 (командная шпага). Чемпион мира и Европы. Завершил спортивную карьеру в 1977 году. В 1989 году стал президентом Венгерского олимпийского комитета. В 1995—1999 годах был вице-президентом МОК, в 2001 году выставлял свою кандидатуру на пост нового председателя комитета. В 1993—1997 годах был послом Венгрии в Испании, в 1998—2002 годах — в Швейцарии.
В 2003—2007 годах был вице-председателем партии Фидес. С 2004 года — депутат Европарламента (был переизбран в 2009 году), где являлся одним из 14 вице-председателей и председателем комиссии по отношениям с Хорватией. В 2010 году оставил свой депутатский мандат.
29 июня 2010 года парламентом Венгрии избран новым президентом страны 263 голосами против 59 голосов у единственного оппонента Андраша Балога. Официально вступил в должность 6 августа 2010 года.
В январе 2012 года оказался в центре скандала, вызванного тем, что венгерский экономический еженедельник HVG опубликовал статью венгерского внештатного журналиста о том, что докторская диссертация Президента Венгрии Пала Шмитта от 1992 года была плагиатом работ болгарского учёного Николая Георгиева и немецкого Клауса Хейнеманна. В свою защиту сделал несколько заявлений, которые только усугубили скандал. 29 марта 2012 года докторский совет Будапештского университета медицины и спорта имени Игнаца Земмельвайса принял решение о лишении Пала Шмитта докторской степени.
2 апреля 2012 года в своём выступлении перед парламентом Венгрии объявил об уходе в отставку с поста президента страны.
Супруга — бывшая венгерская гимнастка Каталин Макраи (венг. Makray Katalin, род. 1945), вице-чемпионка Олимпийских игр 1964 года в упражнениях на брусьях.