На Играх 1900 в Кемп входил в состав британской ватерпольной команды. Сначала она обыграла первую французскую команду в четвертьфинале, потом вторую в полуфинале, и в финальном матче она выиграла у бельгийской сборной, получив золотые медали.
Также, Кемп соревновался в двух плавательных дисциплинах. В заплыве на 200 м вольным стилем он не прошёл дальше полуфинала, но в в гонке на 200 м с препятствиями он сначала выиграл полуфинал, а затем занял третье место в финале, выиграв бронзовую медаль.