Аз-Заркауи родился, предположительно, 20 октября 1966 в городе Зарка (Иордания) неподалёку от Аммана. Его настоящее имя, предположительно, — Ахмед Фадыль Халейла (араб. ???? ???? ?????? ??????????). Был участником Афганской войны, в годы которой воевал против Советской Армии. По возвращении в Иорданию был замечен в подрывных действиях против короля, за что был арестован и провел семь лет в тюрьме (1992—1999). С 2003 в Ираке. Аз-Заркауи подозревается в организации множества террористических актов, в том числе взрывов с использованием заминированных автомобилей, направленных против иностранцев, иракцев, сотрудничающих с американскими военными силами и новой иракской администрацией в Ираке, и иракских шиитов. Кроме того, аз-Заркауи организует похищения иностранных заложников и лично участвует в их казнях.
Американские власти назначили награду в 25 миллионов долларов США за его поимку.
Информация о личной биографии аз-Заркауи основана на сообщениях из различных источников и с течением времени изменялась — во многом по конъюнктурным соображениям, связанным с интересами американских спецслужб.
Главное его кредо — борьба с западным влиянием на мусульманское общество.
По рассказам людей, лично общавшихся с аз-Заркауи, он предстаёт мрачным, вспыльчивым человеком.
По данным американских спецслужб, аз-Заркауи — один из ближайших соратников Усамы бен Ладена в международной террористической организации «Аль-Каида» и руководитель иракской группировки «Ансар аль-Ислам».
Мировую известность аз-Заркауи получил благодаря государственному секретарю США Колину Пауэллу, который зимой 2003 года, выступая на заседании Совета безопасности ООН и пытаясь доказать, что Ирак угрожает всему миру своим оружием массового поражения и связан с «Аль-Каидой», рассказал, в частности, о связующем звене между Саддамом Хусейном и Усамой бин Ладеном. Этим связующим звеном якобы и был Абу Мусаб аз-Заркауи.
По словам Колина Пауэлла, аз-Заркауи покупал у иракских властей химическое оружие (цианид, рицин и т. д.) для осуществления терактов в Европе. У Заркауи, по данным Пауэлла, была собственная лаборатория на севере Ирака (на территории, не подконтрольной Саддаму Хусейну), а также офис в Багдаде. Аз-Заркауи обвиняли также в убийстве американского дипломата Лоуренса Фоули в Иордании.
Однако вскоре после окончания боевых действий, когда никаких следов химического оружия в Ираке не было найдено, из «помощника Усамы бин Ладена по химическому оружию» аз-Заркауи переквалифицировали в руководителя иракской ячейки «Аль-Каиды». Таким образом командование коалиционных войск объяснило усиливающееся сопротивление американским войскам.
Весной 2004 года, когда в результате ожесточённых боёв в городе Эль-Фаллуджа американские войска были вынуждены покинуть город, а вместе с этим практически потеряли контроль над так называемым «суннитским треугольником», вина была вновь возложена на аз-Заркауи и было объявлено, что именно он руководит боевыми действиями в Фаллудже.
В 2004 году Абу Мусабу Заркауи стали приписывать организацию практически всех крупных терактов, как в Ираке, так и за его пределами. Таким образом утверждается, что он располагает большим влиянием, чем сам Усама бин Ладен — возможно, потому что тот погиб либо не в состоянии поддерживать связи со своими сторонниками.
Летом 2004 года, на фоне обострения отношений между США и Ираном, американские СМИ стали подчёркивать связи аз-Заркауи с иранскими религиозными властями. Оказалось, что совсем недавно он постоянно проживал в Тегеране.
И наконец, существовало мнение, что аз-Заркауи сам уже давно погиб в результате американского авиаудара. Представители одной из исламистских организаций заявили в апреле 2004 года, что аз-Заркауи на самом деле мёртв, а все воззвания, которые публикуются в интернете от его имени, на самом деле сфабрикованы, чтобы разжечь в Ираке гражданскую войну и стравить шиитов и суннитов. При этом указывают на американские спецслужбы как на авторов фабрикаций.
Одной из важных деталей в описании Абу Мусаба Заркауи с самого начала было его увечье. Ещё Колин Пауэлл утверждал, что во время Афганской войны он был ранен в ногу и долго лечился. В конце концов ногу ему ампутировали, и то, что операция была сделана в Багдаде, также считалось доказательством близости Заркауи к Саддаму Хусейну.
Однако в 2004 году американские спецслужбы пересмотрели свои первоначальные данные и было объявлено, что террорист вовсе не инвалид. Тем более, что на знаменитой видеоплёнке, распространённой в мае 2004 года, где он собственноручно обезглавил иностранного заложника американца Николаса Берга, он двигался свободно и уверенно — при этом в его речи отсутствовал и иорданский акцент, что сразу отметили арабские журналисты. Так что и видеоплёнка может быть фальшивкой — тем более, что человек, называющий себя аз-Заркауи, был в маске, полностью скрывающей его лицо. Указывается также на то, что убийство Николаса Берга произошло в самый разгар скандала с пытками в тюрьме Абу-Грейб и было представлено как месть за эти пытки. Убийство шокировало весь мир и оттеснило скандал с пытками на второй план.
18 сентября 2004 года организация «Единобожие и джихад», возглавляемая аз-Заркауи, объявила о начале беспрецедентной акции по скупке похищенных иностранцев у криминальных банд. Иракские спецслужбы полагают, что местные криминальные главари наладили своеобразный бизнес: они похищают иностранцев, а затем по дешёвке продают их людям аз-Заркауи.
20 ноября 2005 года 57 старейшин клана Халейла — одного из наиболее влиятельных бедуинских родов в Иордании, имеющего родственные связи даже с правящей в Иордании хашимитской династией, — подписали открытое письмо, в котором они отреклись от своего родственника и осудили террористические акции аз-Заркауи. Поводом для этого послужили три взрыва в отелях Аммана, произошедшие в ноябре 2005. Ответственность за эти взрывы взяла на себя группировка аз-Заркауи. Сам же он выступил с угрозами убить короля Иордании Абдаллу II.
7 июня 2006 года аз-Заркауи и семь его соратников были убиты двумя бомбами, сброшенными американским истребителем-бомбардировщиком F-16 в семи километрах от города Баакуба. Бомбы попали в здание, расположенное по координатам 33.800786, 44.51349433°48?02.83? с. ш. 44°30?48.58? в. д.? / ?33.800786° с. ш. 44.513494° в. д. (G) (O), в котором в это время находился Абу Мусаб аз-Заркауи вместе с шестью другими людьми. Среди убитых была его молодая жена и ребёнок.