Тренировал футбольный клуб «Севилья», который за два года под его руководством (2005—2007) выиграл два Кубка УЕФА, Суперкубок УЕФА и Кубок Испании. На тренерском мостике «Тоттенхэм Хотспур» выиграл Кубок английской лиги, первый для этого клуба после девятилетнего перерыва.
9 декабря 2008 года сменил немца Бернда Шустера на посту главного тренера мадридского «Реала».
10 сентября 2009 года подписал контракт на 4 месяца с ЦСКА. Однако уже 26 октября 2009 года контракт с ЦСКА был расторгнут по обоюдному согласию сторон в связи с неудовлетворительными спортивными результатами.
1 октября 2010 года подписал четырехлетний контракт с днепропетровским «Днепром».
Логронес
Райо Вальекано
Севилья
Тоттенхэм Хотспур
Рамоса увольняли из клубов на протяжении трёх лет подряд в один и тот же день — 26 октября: в 2007 году из «Севильи», в 2008 году из «Тоттенхема», в 2009 году из ЦСКА.