Яап де Хооп Схеффер родился 3 апреля 1948 года в Амстердаме. В 1967 году закончил католическую классическую гимназию имени святого Игнатия Лойолы. В 1974 году окончил юридический факультет Лейденского университета и получил степень магистр права.
После окончания университета был призван в армию, служил пилотом военно-транспортного самолета в нидерландских Королевских ВВС.
В 1975 году становится стажёром в информационном отделе Министерства иностранных дел Нидерландов. В 1976 году, после прохождения годичного курса обучения для молодых дипломатов, назначается на два года в посольство Нидерландов в Гане. С 1978 по 1980 работал в Брюсселе в представительстве Нидерландов в НАТО. В 1980—1986 годах был личным секретарём министра иностранных дел Нидерландов.
С 1986 по 2002 год был депутатом нидерландского парламента от партии Христианско-демократический призыв. Дважды, в 1992—1997 и 2001—2002 годах возглавлял парламентскую комиссию по международным делам. В 1995—1997 годах занимал пост заместителя лидера ХДП, а с 1997 по 2001 год был лидером партии.
С 2002 по 2003 год — министр иностранных дел Нидерландов, по совместительству в 2003 году был председателем ОБСЕ.
В 2004 году занял пост генерального секретаря НАТО. 10 декабря 2006 года было принято решение продлить мандат де Хооп Схеффера до 2009 года. В 2009 году передал пост премьер-министру Дании Андерсу Фогу Расмуссену.
При де Хооп Схеффере количество участников НАТО выросло с 19 до 28 стран, а в 2006 году стало известно намерение альянса со временем принять в свои ряды Грузию и Украину. В то время пока де Хооп Схеффер был генсеком НАТО, альянс активно участвовал в миротворческих операциях в Афганистане и Косово.
Де Хооп Схеффер женат, имеет двух дочерей. Свободно владеет английским, французским и немецким языками, играет в теннис и сквош, занимается бегом.