Хишам эль-Герруж начал серьёзно заниматься легкой атлетикой вдохновленный примером Саида Ауита, который был его кумиром. Первый успех пришёл к нему на юниорском первенстве мира 1992 года, где он завоевал бронзу в беге на 5000 метров, уступив эфиопу Хайле Гебреселассие.
На Олимпиадах Хишаму долгое время не везло. Приехав на Олимпиаду в Атланте 1996 года в ранге фаворита в беге на 1500 м, он упал после первого круга и в итоге финишировал лишь 12-м. На Олимпиаду в Сиднее 2000 года Хишам прибыл уже в ранге обладателя мирового рекорда и чемпиона мира, однако пришёл вторым вслед за кенийцем Ноем Нгени, который был его пейсмейкером в забеге на 1500 м, где Хишам установил мировой рекорд.
И только в 2004 году в Афинах Хишаму наконец улыбнулась удача. Причём Эль Герруж решил стартовать на двух дистанциях. Он стал олимпийским чемпионом в беге на 1500 и 5000 метров. До него такой дубль удавалось сделать только легендарному финскому стайеру 1920-х годов Пааво Нурми. В беге на 5000 м Хишаму удалось победить другого признанного фаворита эфиопа Кененису Бекеле.
В 2006 году Эль-Герруж завершил свою карьеру, формальным поводом стала травма спортсмена. В настоящее время является членом МОК.