Точная дата рождения Окегема неизвестна, называются 1410 и 1425 годы. По некоторым свидетельствам, в год смерти (1497) он был уже глубоким старцем. Долгое время местом рождения Окегема считался Дендермонде в Восточной Фландрии (часть современной Бельгии), входившей в состав герцогства Бургундского.
Обучался в метризе собора Нотр-Дам в Антверпене. С 24 июня 1443 г. по 24 июня 1444 г. пел в этом соборе под руководством Й. Пюллуа. В 1446—1448 гг. Окегем — певчий капеллы герцога Карла I Бурбона в Мулене (Франция). С 1452 г. и до конца жизни Окегем руководил капеллой французского королевского двора (был первым капелланом и капельмейстером). С 1456 Окегем — королевский советник и казначей аббатства Сен-Мартен в Type (там размещалась королевская резиденция). В 1460-х гг. в этой важнейшей для музыки 15 в. церкви Франции работал А. Бюнуа. Служа французскому двору (королям Карлу VII и Людовику XI), он занимал должность каноника Собора Парижской Богоматери (1463—1470) и церкви Св. Бенуа. Известно, что Окегем в 1470 г. посетил Испанию. Очень мало известно о жизни Окегема после смерти Людовика XI (1483 г.). Он продолжал выполнять обязанности первого капеллана королевского двора, видимо до 1488 г. В 1484 г. он ездил во Фландрию, в Брюгге.
Вероятно, Окегем учился у Жиля Беншуа и тесно общался с ним. В 1460 г. он написал «плач» на смерть Беншуа. Окегем был связан с придворной капеллой герцогов Бургундии, где работали Антуан Бюнуа и Гийом Дюфаи. Бюнуа написал мотет в честь Окегема до 1467 г., так что, вероятно, он хорошо знал Окегема.
Хотя музыкальный стиль Окегема существенно отличается от стиля композиторов предыдущего поколения, всё-таки он приобрёл основные навыки у них, поэтому его можно считать связующим звеном между первым поколением нидерландской школы и композиторами следующих поколений, Я. Обрехтом и Жоскеном Депре. Жоскен Депре и Пьер де ла Рю были в числе учеников Окегема. На смерть учителя Жоскен Депре сочинил мотет «La deploration de la mort de Johannes Ockeghem».
В творчестве Окегема представлены все жанры, характерные для нидерландской школы: месса, мотет и многоголосная песня на французском языке (шансон). Важнейшим жанром для него оказывается месса, он проявил себя как выдающийся полифонист. Музыка Окегема динамична, мелодическая линия движется в широком диапазоне, имеет широкую амплитуду. Вместе с тем для Окегема характерны плавность интонации, чистейшая диатоника, старинное ладовое мышление. Поэтому музыку Окегема часто характеризуют как «направленную в бесконечность», «парящую» в несколько отрешённой образной среде. В отличие от музыки Дюфаи, она меньше связана с текстом, богата распевами, импровизационна, экспрессивна.
Окегем часто включает в свои произведения имитации и каноны. Вместе с имитациями в приму и октаву, он использует кварту и квинту, большинство имитаций двухголосные, но встречаются трёхголосные, четырёхголосные и пятиголосные. Для полифонистов XVI века будет характерна сплошная имитационность, Окегем намечает эту перспективу. Канону как форме и принципу полифонического движения композитор уделяет особое внимание.
Тринадцать месс Окегема сохранились в рукописи XV века, известной под названием «Chigi codex».
Среди месс преобладают четырёхголосные, есть две пятиголосные и одна восьмиголосная. В качестве тем месс Окегем использует народные («L’homme arm?»), свои собственные («Ma maistresse») мелодии или мелодии других авторов (например, Беншуа в «De plus en plus»). Есть мессы и без заимствованных тем («Quinti toni», «Sine nomine», «Cujusvis toni»).
Месса «Prolationum» полностью каноническая. В пяти её основных частях всего 15 разделов, и каждый из них является каноном. Окегем располагает каноны в первых десяти разделах мессы таким образом, что интервал между вступлениями голосов последовательно увеличивается от примы, секунды, терции и т. д. до октавы.
Месса «Cujusvis toni» («любого тона») интересна тем, что одну и ту же музыку композитор предлагает исполнять в любом ладу: дорийском, фригийском, лидийском или миксолидийском. Переход в «любой тон» означает не транспозицию в другую тональность, а именно иной лад. При этом меняются соотношения между звуками и их функциями в ладу, что сообщает звучанию совершенно новые свойства.
Мотеты и шансон Окегема непосредственно примыкают к его мессам и отличаются от них главным образом своими масштабами. Среди мотетов есть пышные, праздничные произведения, а также более строгие духовные хоровые сочинения.
Наиболее известен праздничный благодарственный мотет «Deo gratias», написанный для четырёх девятиголосных составов и потому считающийся 36-голосный. В действительности он состоит из четырёх девятиголосных канонов (на четыре разные темы), которые следуют один за другим с небольшими наложениями начала следующего на заключение предыдущего. В местах наложения звучат 18 голосов, реального 36-голосия в мотете нет.
Песни Окегема гораздо более полифоничны, чем песни Беншуа и даже Дюфаи, в них мало танцевальности, лёгкости, камерной интимности. Динамика больших мелодических волн, внеличностный характер образности и общий склад a cappella сближает их с мессами и мотетами. Лиризмом и камерностью выделяется песня «Malheur me bat», ставшая вместе с «Fors seulement» очень популярной и послужившая первоосновой для сочинений современников Окегема.
Существует множество произведений, принадлежность которых Окегему ставится под сомнение, среди них известный мотет «Deo gratias» для 36 голосов. Некоторые анонимные шансон приписываются Окегему на основании схожести стиля.