Родился в Иерусалиме в семье Салмана и Мазаль Элияху. Отец Мордехая Элияху происходил из семьи багдадских раввинов. Его мать, Мазаль, была сестрой раввина Иегуды Цдаки и внучкой раввина Йосефа Хаима, более известного как «Бен иш Хай». Мать Мордехая Элияху умерла, когда мальчику было 11 лет.
Учился в йешиве «Порат Йосеф» у раввина Эзры Аттьи. Позже среди учителей раввина Элияху был рабби Исраэль абу-Хацира, известный также как Баба-Сали.
В 1983 году Мордехай Элияху сменил Овадью Йосефа на посту главного сефардского раввина Израиля.
Раввин Элияху еженедельно публиковал статьи на тему недельной Главы Торы в издании «Коль Цофьях».
25 апреля 2008 года, в седьмой день Песаха, у Мордехая Элияху случился острый инфаркт миокарда, после чего ему сделали неудачную катетеризацию, а затем — коронарное шунтирование. Рав Элияху умер 7 июня 2010 года, после двух лет, прошедших со времени ухудшения состояния его здоровья. Множество последователей раввина Элияху присутствовали на его похоронах. Он был похоронен в Иерусалиме, возле места захоронения раввина Хаима Давида Азулая, останки которого рав Элияху привёз в Израиль 50 лет назад.
Раввин Элияху был известен своими строгими постановлениями («Пискей Дин»). Он продолжил метод иракских евреев, идущих путём «Бен-Иш Хай», что противоречило мнению раввина Овадьи Йосефа, который основывает свое решение по постановлениям рабби Йосеф Каро. Раввин Элияху сочетал в своих постановлениях элементы из Каббалы, особенно лурианской.
После принятия правительством решения о одностороннем размежевании с Газой раввин Элияху выступал много раз с критикой плана во время демонстраций и митингов оппозиции.
Многие жители Гуш-Катифа, которые были последователями раввина Элияху, воздерживались от призывов к осуществлению каких-либо незаконных действий. В интервью в канун Рош ха-Шана, в брошюре «Мааяней ха-Йешуа», раввин Элияху объяснил, что он рекомендует солдатам воздерживаться от выполнения команд по выселению евреев, и рекомендовал отвечать на такие команды офицеров «Я не могу, не могу». Раввин Элияху сказал: "Я бы сказал, что все солдаты должны подойти к своим офицерам и сказать им — «Это аморально, Главный раввинат Израиля постановил, что мы против высылки евреев — и мы не будем выполнить такие команды».
Раввин Мордехай Элияху был в хороших отношениях с различными раввиноми в различных кругах ортодоксального иудаизма. Например: