Аль-Хаджадж родился в городе Таиф в Хиджазе(в 70 км юго-восточнее Мекки. Его имя при рождении было Кулайб, но позже он изменил его на "аль-Хаджадж" означающее - Костолом.
Хаджадж переехал из Таифа в Дамаск в первые годы правления халифа Абд аль-Малика, чтобы служить в полиции(шурта) под руководством Равха ибн Зинбы аль-Джуззами, визиря халифа. Он привлек внимание Абд аль-Малика тем, что быстро восстановил дисциплину среди мятежных войск, с которыми был отправлен в Ирак против Мусаба ибн аль-Зубайра.
Во время кампании против Мусаба, Хаджадж отличился подвигами. После победы над Мусабом в Маскине на реке Дияла в 691 году (72 г.х.)по приказу халифа, он , во главе около 2000 сирийцев отправился из Куфы в Мекку, против Абдуллы ибн аз-Зубайра . Он выдвинулся на родной Таиф, который взял без каких-либо боевых действий и использовал в качестве базы.
Халиф поручил Хаджадж сначала провести переговоры с ибн аз-Зубайром и гарантировать ему амнистию, если он капитулирует, в противном случае- изморить осадой, но ни в коем случае, не доводить дело до кровопролития в Мекке. Поскольку переговоры не удались, Хаджадж потерял терпение, он отправил гонца просить у Абд аль-Малика подкрепления, и разрешение, взять город силой. После осады ,которая длилась семь месяцев 10.000 мужчин (среди них два сына Ибн аз-Зубайра) перешли к Хаджаджу. Ибн аз-Зубайр и его верные последователи, в том числе его младший сын, были убиты в ходе боевых действий вокруг Каабы в октябре 692 . Осада Мекки Хаджаджем привели к гибели тысяч невинных жителей города и паломники.В результате катапультных бомбардировок была разрушена Кааба. Ставший впоследствии управляющим Хиджаза, Хаджадж стал известен своей жестокостью.