Паул Хархёйс относительно поздно начал карьеру профессионального теннисиста; перед этим, в 1988 году, он получил учёную степень по экономике в Университете Флориды. В 1989 году, в свой первый год в ранге профессионала, начал сезон с победы в турнире уровня ATP Challenger в Лагосе (Нигерия), в июле дошёл до финала Открытого чемпионата Нидерландов в Хилверсюме в парном разряде, а в сентябре, занимая 150-ю строчку в ирейтинге, дошёл до 1/8 финала Открытого чемпионата США, победив во втором круге четвёртую ракетку мира Джона Макинроя.
В 1990 году со своим соотечественником Хендриком-Яном Давидсом выиграл первый в карьере турнир в парном разряде; этим турниром стал Кубок Кремля. До этого дошёл до полуфинала Открытого чемпионата Франции (с Марком Кувермансом). Впервые выступил за сборную Нидерландов в Кубке Дэвиса в матче с Канадой, выиграв одну игру из трёх, и стал победителем национального чемпионата Нидерландов в парном разряде. На следующий год показал свой лучший результат в турнирах Большого шлема в одиночном разряде, дойдя до четвертьфинала Открытого чемпионата США, одержав победу в том числе и над первой ракеткой мира Борисом Беккером в третьем круге, а в четвертьфинале уступив ветерану Джимми Коннорсу, и завоевал право выступить в Кубке Большого шлема в конце сезона. В парах выиграл три турнира. Добился также заметного успеха в смешанном парном разряде, дойдя с ещё одной соотечественницей, Каролин Вис, до финала Открытого чемпионата Франции.
В 1992 году Хархёйс и Куверманс представляли Нидерланды на Олимпиаде в Барселоне, но выбыли из борьбы в первом же круге, уступив будущим бронзовым призёрам, хорватам Иванишевичу и Прпичу. В одиночном разряде во втором круге Хархёйс также проиграл Иванишевичу, бывшему на тот момент четвёртой ракеткой мира и одиночный турнир тоже закончившему с бронзовой медалью. В марте того же года в Сингапуре он дошёл до своего первого финала турнира АТР в одиночном разряде.
В 1993 году Хархёйс вместе с ещё одним своим соотечественником Якко Элтингом выигрывают семь турниров в парном разряде, включая два турнира серии Super 9 и чемпионат мира по версии АТР. Они заканчивают сезон на втором месте в рейтинге пар, а сам Хархёйс занимает четвёртое место в рейтинге игроков в парном разряде. В следующем году Хархёйс поднимается на первую строчку в рейтинге парных игроков. Вместе с Элтингом они выиграли за год восемь турниров, включая Открытый чемпионат Австралии и Открытый чемпионат США, и ещё четыре раза играли в финалах.
В январе 1995 года Хархёйс также выигрывает в Джакарте свой единственный титул в одиночном разряде. В ноябре он впервые входит в число двадцати сильнейших теннисистов в одиночном разряде. Всего за сезон он одерживает в турнирах АТР пять побед над теннисистами из первой десятки, в том числе дважды над Питом Сампрасом (одна из побед была одержана в момент, когда Сампрас был первой ракеткой мира). Ещё одну важную победу он одерживает над Беккером в четвертьфинале Кубка Дэвиса, но остальные игры сборная Нидерландов проигрывает. Выиграв в этом году шесть турниров, в том числе Открытый чемпионат Франции, и дойдя до финала чемпионата АТР, Хархёйс и Элтинг только одно очко уступают в рейтинге пар австралийцам Тодду Вудбриджу и Марку Вудфорду.
В начале 1996 года Хархёйс добивается самого большого в карьере успеха в одиночном разряде: победив трёх соперников из первой десятки, он доходит до финала турнира серии Super 9 в Индиан-Уэллз. На Олимпиаде в Атланте он проигрывает в первом круге одиночного турнира Марку Филиппуссису, но в парах они с Элтингом доходят до полуфинала, где в упорнейшей борьбе (счёт геймов в решающем сете 16-18) проигрывают Вудбриджу и Вудфорду, а затем уступают в матче за бронзу немецкой паре. Они также выходят месяц спустя в финал Открытого чемпионата США, где опять проигрывают австралийцам. Несмотря на ряд неудач в первой половине сезона, во второй половине Хархёйсу и Элтингу удаётся выиграть три турнира АТР, из них два высшей категории в Торонто и Париже, и закончить год среди сильнейших пар мира.
В 1997 году Хархёйс и Элтинг побеждают в шести турнирах и выходят в финал Уимблдона, где на их пути в очередной раз становятся Вудбридж и Вудфорд. Следующий год становится для них самым удачным в совместной карьере: они выигрывают оба турнира Большого шлема, в которых участвовали, и чемпионат АТР в конце сезона; в двух из трёх случаев им противостояли Даниэль Нестор и Марк Ноулз, а в третьем, в финале Уимблдонского турнира, им удалось одолеть Вудбриджа и Вудфорда. Всего же за этот сезон они первенствовали в девяти турнирах; ещё дважды Хархёйс играл в финалах, один из них с Элтингом, а второй с Яном Симеринком. По окончании этого сезона Элтинг объявил об уходе из тенниса.
Следующие годы сопровождаются для Хархёйса, практически отказавшегося от выступления в одиночном разряде (в 2000 году провёл всего один, последний, матч в Кубке Дэвиса против сборной Узбекистана), частой сменой партнёров. В 1999 году он доходит до финала Уимблдонского турнира с Джаредом Палмером. В 2000 году он дважды выходит в финал турниров Большого шлема с Сэндоном Столлом; всего за этот год они со Столлом выходят в семь финалов, но выигрывают только один. С другим нидерландским теннисистом Шенгом Схалкеном Хархёйс выигрывает 5 турниров в 1999-2001 годах. Последние два финала турниров Большого шлема в карьере он провёл с Евгением Кафельниковым: в 2002 и 2003 годах они дважды подряд вышли в финал Открытого чемпионата Франции, победили в 2002 году и проиграли в 2003-м. В 2004 и 2005 году Хархёйс, уже не выступавший в индивидуальных соревнованиях, ещё защищал честь флага Нидерланов в Кубке Дэвиса, но в отсутствие достойных партнёров все свои последние матчи проиграл.