Гранвель-младший родился в Безансоне, обучался в Падуе и Лёвене, принял духовный сан. В 1540 году был возведён в сан епископа Аррасского, в 1560 году — архиепископа Мехеленского с титулом кардинала. В промежутке между этими событиями Гранвель принял участие в Тридентском соборе, подготовил Пассауский договор и Като-Камбрезийский мир, а также договорился о браке Филиппа II с Марией Тюдор.
Впечатлённый дипломатическими успехами Гранвеля, Филипп II направил его в 1560 году в Нидерланды в качестве главного советника своей тётки Маргариты Австрийской. Чувствуя, что из-за распространения Реформации ситуация в стране накаляется, Гранвель полагал необходимым «закручивание гаек» и принятие энергичных мер по противодействию «еретической заразе». В государственном совете Нидерландов ему составилась оппозиция в лице графов Эгмонта и Горна, а также принца Вильгельма Оранского, которые убедили короля перевести его в Италию.
Филипп II всегда сожалел об этом решении, считая что сохранение Гранвеля в Нидерландах предотвратило бы восстание провинций. В Италии кардинал занимался переговорами о создании «священной лиги» против турок, которые увенчались победой при Лепанто. В 1571—1575 годах он занимал пост вице-короля Неаполя, в 1575—1579 годах руководил Итальянским советом. Во время своего пребывания в Риме он скупил огромное количество картин Тициана и медальонов Леони, покровительствовал Джамболонье и дал место секретаря в своём дворце гуманисту Юсту Липсию.
В последние годы жизни тяжело больной Гранвиль исполнял обязанности государственного секретаря в Мадриде. Он представил королевскому двору фламандца Антониса Мора и привёз в Мадрид коллекцию работ Брейгеля, которого высоко ценил. Его последней дипломатической победой стала династическая уния испанской и португальской корон.