Месут Йылмаз родился в Стамбуле. Согласно некоторым источникам, Йылмаз является выходцем из семьи хемшилов.
Получил высшее образование в университете Анкары, позднее обучался также в Кёльнском университете.
В 1983 году вступил в основанную Тургутом Озалом Партию Отечества (ANAP), где занял пост заместителя председателя партии. С 1983 года был членом парламента, с 1987 года — министром иностранных дел.
В 90-е годы XX века, став лидером партии, Месут Йылмаз трижды занимал пост премьер-министра страны, однако продолжительность как первого, так и второго срока не превысила нескольких месяцев. В первый раз он был вынужден подать в отставку после проигрыша партией очередных выборов. Во второй — в результате разногласий внутри правительственной коалиции с Партией верного пути, главой которой была Тансу Чиллер. Наиболее продолжительным (полтора года) был третий срок пребывания Месута Йылмаза на посту премьер-министра очередного коалиционного правительства Турции. Ушёл в отставку после того, как в конце 1998 года турецким парламентом правительству был вынесен вотум недоверия в связи с обвинениями в коррупции.
Месут Йылмаз оставался лидером партии до 4 ноября 2002 года. В 2007 году избран независимым депутатом парламента от города Ризе.