Занимал министерские посты в правительстве Хосе Марии Аснара, с 28 февраля 2000 до 3 сентября 2003 года — вице-президент правительства, с февраля 2001 по 2004 год — министр внутренних дел. После поражения партии на выборах 17 апреля 2004 года возглавил оппозицию в кортесах.
В 2008 году проиграл парламентские выборы социалистам во главе с Хосе Луисом Родригесом Сапатеро.
На состоявшихся 20 ноября 2011 года всеобщих парламентских выборах Народная партия Испании под его руководством одержала победу, получив 186 из 350 мест в нижней палате.
Рахой — внук одного из авторов Устава автономии Галисии 1932, который был отстранён от преподавательской деятельности в университете во время диктатуры до начала пятидесятых, и сын председателя провинциального суда города Понтеведры, в котором он вырос.
Он является дипломированным юристом. На последнем курсе юридического факультета университета Сантьяго-де-Компостела он начал готовиться, планируя занять должность регистратора недвижимости, которую и получил после окончания университета, когда ему было 24 года. Таким образом, он стал самым молодым регистратором и был назначен в Падрон (Галисия), Вильяфранка-дель-Бьерсо (Леон) и Санта-Пола (Аликанте).
При поддержке Хосе Луиса Баррейро (Xos? Luis Barreiro) в 1981 Рахой стал членом Народного альянса (Alianza Popular) (с 1989 года Народная партия и был избран депутатом местного парламента на первых автономных выборах в Галисии, прошедших в том же году.
В 1982 году Рахой был назначен генеральным директором комитета по связям Правительства Галисии и секретарем комиссии по трансфертам между государством и автономным сообществом Галисия. На муниципальных выборах в мае 1983 года он был избран членом законодательного совета города Понтеведры. В 1986 году он был назначен председателем законодательного совета провинции Понтеведра, и занимал эту должность до 1991 года.
На всеобщих выборах в 1986 году он получил депутатский мандат в Конгрессе депутатов, возглавив избирательный список от Понтеведры. Но уже в ноябре в результате кризиса и отставки Хосе Луиса Баррейро и остальных членов Хунты Галисии он вынужден был отказаться от этой должности, чтобы занять место вице-президента Правительства Галисии. На внеочередном съезде партии в мае 1988 года Рахой был назначен генеральным секретарем отделения Народного альянса в Галисии.
В январе 1989 года Народный альянс был преобразован в единую партию и переименован в Народную партию (НП), возглавляемую Мануэлем Фрагой Ирибарне. Рахой был назначен членом исполнительного национального комитета Народной партии и представителем Понтеведры. В 1993 году он был переизбран.
4 сентября 1989 года Хосе Мария Аснар (до того момента председатель Хунты автономного сообщества Кастилия и Леон), по предложению самого Фраги был избран кандидатом на всеобщих выборах и в апреле 1990 года. Аснар стал председателем Народной партии, а Рахой был избран членом Национального исполнительного комитета и заместителем генерального председателя НП. После этих выборов он был избран представителем от Понтеведры и возглавил Комиссию парламентского контроля.
На выборах 1993 года Народная партия стала главной партией лагеря оппозиции, и Рахой вернул себе депутатский мандат представителя от Понтеведры.
3 марта 1996 года Народная партия победила на выборах, получив 9 716 006 голосов. Аснар был избран премьер-министром при поддержке Баскской националистической партии, Конвергенции и Союза, и Канарской коалиции, и Рахой в третий раз получил свой депутатский мандат в Конгрессе депутатов. За заслуги в руководстве предвыборной кампанией, которая оказалась более чем успешной, Рахой был назначен министром общественной администрации, которая была учреждена Законом «Об организации и функционировании общественной администрации». В этом же году он вступил в брак с Эльвирой Фернандес Бальбоа.
В январе 2002 года на съезде партии Рахой был вновь переизбран на посту заместителя генерального секретаря партии. В июле этого года он ушёл с поста министра внутренних дел и получил портфель официального представителя Правительства и министра администрации председателя правительства.
В качестве представителя Правительства Рахою пришлось иметь дело с двумя самыми крупными кризисами: урегулированием последствий экологической катастрофы из-за крушения танкера «Престиж» у берегов Галисии и противостоянием политике Аснара, поддержавшего Дж. Буша во время вторжения в Ирак в 2003 году.
3 сентября 2003 года он ушёл со всех занимаемых должностей, поскольку Хосе Мария Аснар выдвинул его кандидатуру на пост генерального секретаря НП и кандидата на пост президента. На XIV съезде Народной партии он был избран новым лидером.
Выборы, прошедшие после террористических актов 11 марта 2004 года, были отмечены уменьшением неявки на выборы. Победу одержала Испанская социалистическая народная партия, возглавляемая Хосе Луисом Родригесом Сапатеро, получив почти на 1 300 000 голосов больше, чем НП, и 164 депутатских кресла. Народная партия получила 9 763 144 голоса и 148 депутатских мест, что на 35 мест меньше, чем в 2000 году, хотя она сохранила относительное большинство в Сенате, потеряв 25 сенаторских мест.
В настоящее время Мариано Рахой занимает пост председателя Народной партии, главной партии лагеря оппозиции существующему правительству.
Его критика правительства сконцентрирована в основном на отмене планов своего предшественника (Национальный план по гидроэнергетике), на внешней политике, главным образом, на отношениях с США, на миграционной политике, на признании гомосексуальных союзов браками и на реформах уставов автономий, в особенности, Каталонии. По мнению Рахоя, изменения в Уставе автономии Каталонии повлекут за собой неявный переход от модели государства автономий к модели конфедерации и несовместимости и поставит под угрозу само существование единой Испании. Кроме того, он считает, что пересмотр Устава автономии Каталонии приведёт к необходимости пересмотра Конституции, поэтому необходимость его проведения должна решаться на референдуме. В отношении мирного процесса, начавшегося после того, как в 2006 году ЭТА заявила о прекращении действий, Рахой занимает открыто критическую позицию и не поддерживает политику правительства и мнение остальных оппозиционных партий, поскольку не верит в намерение ЭТА сложить оружие. Такая позиция, занимаемая Рахоем и его партией, стала первым примером, когда оппозиционная партия не поддерживает антитеррористическую политику правительства, несмотря на то, что и до этого другими правительствами велись переговоры с ЭТА, и даже правительством самого Аснара.
В апреле 2007 года Рахой выступил в известной телепрограмме на канале TVE 1 (Первый телевизионный канал Испании). Во время своего выступления он отказался отвечать, сколько он получает, и заявил, что обвинения в адрес Ирака о наличии у последнего средств массового уничтожения были ошибкой всего мирового сообщества. Несколькими днями позже стало известно, что он получает больше, чем председатель правительства Сапатеро. В октябре 2007 года Рахой опять вызвал бурную полемику и оказался в центре всеобщего внимания после своего заявления, в котором он преуменьшил значение предотвращения последствий изменения климата в долгосрочном периоде. Множество политических представителей и экологических организаций не преминули осудить подобное заявление, от которого, впрочем, Рахой отказался через несколько дней.