Рав Шах родился в г. Вабалнинкас, современная Литва у Азриэля Шаха и Бат-Шевы Левитан в 1894 или 1897 г. (источники расходятся в отношении точной даты рождения). Учился в иешивах Паневежиса, Слободки в Ковно (Каунас) и Слуцке, где стал любимым учеником рава Исера Залмана Мелцера, а затем и мужем его племянницы.
Вместе с равом Мелцером после Первой мировой войны перебрался в Клецк, а затем в Слуцк. В 1927 стал главой иешивы в Люблине, затем был равом в иешиве Новогрудока. В этот период заводит близкое знакомство с равом Хаимом Озером Гродзинским, который его рекомендует карлинскому Ребе и в 1936 рав Шах приглашён возглавить иешиву карлинских хасидов в Лунинце Брестской области.
Во время Второй мировой войны ему удалось вместе с семьей перебраться из Литвы в подмандатную Палестину к раву Мелцеру. Там он устраивается преподавателем в тель-авивскую иешиву «Ишув хадаш», затем в иешиву «Даром» в Реховоте и, наконец по рекомендации Хазон Иша — бней-бракскую Поневежскую иешиву (см. Поневеж), считающуюся одним из самых престижных высших учебных заведений в еврейском ортодоксальном мире. В начале 60-х годов рав Шах становится главой Поневежской иешивы и членом «Совета мудрецов Торы». После смерти лидера брестского направления рава Ицхака Зеэва Соловейчика в 1959 рав Шах постепенно принимает на себя роль ведущего раввина литовского направления. В 80-х годах начинает активно влиять на всеизраильскую политику.
Скончался 2 ноября 2001 в больнице «Шиба» в Тель ха-Шомере. Смерть наступила в результате критического снижения давления. Длившиеся двое суток попытки врачей спасти жизнь рава Шаха не увенчались успехом. В последние годы раввин страдал от серьёзного нарушения функции дыхательной системы, а незадолго до смерти заболел воспалением легких, которое и ускорило трагический конец.
Документально дата рождения Элиэзера Шаха не установлена. Различные источники указывают разный его возраст — от 103 до 109 лет, но наиболее авторитетные сходятся на 107 годах. Раввин был похоронен в Бней-Браке, где прожил вторую половину жизни. В последний путь его провожали сотни тысяч учеников и единомышленников, перед этим неустанно — но тщетно — молившихся за его выздоровление. Наследниками рава Шаха были ещё при его жизни объявлены 2 других крупных раввина р. Йосеф Шалом Эльяшив и р. Аарон Лейб Штейнман ().
Элиэзер Шах делал основной упор на духовном и исследовательском аспектах иудаизма. Его имя было не так хорошо известно далёким от традиции евреям, однако вклад раввина Шаха в иудейскую теологию оказался весьма и весьма значительным.
Р. Шаха известен своим отрицательным отношением к распространению Торы в нерелигиозных кругах. По мнению р. Шаха, религиозные евреи должны сосредоточиться на совершенствовании своих знаний и личных качеств, а не тратить силы на «приближение» нерелигиозных. Он также вел полемику с хасидскими кругами (в частности, с движением ХаБаД), которые ставили своей задачей распространение иудаизма среди нерелигиозных евреев.
Эрудиция, такт, незаурядные организаторские способности и редчайший педагогический талант сделали Элиэзера Шаха лидером литовского направления ортодоксального иудаизма. Со всех концов страны и из-за рубежа к нему приезжали люди с вопросами по Галахе и за советом при принятии важных решений. Об отзывчивости раввина ходят легенды.
Обладая глубочайшими знаниями еврейских священных книг, написанных на иврите и по-арамейски, в обиходе раввин Шах пользовался идишем. Выпестованные им Дери и другие лидеры сефардской ортодоксальной общины неплохо владеют этим языком.
До раскола в партии Агудат Исраэль раввин Шах возглавлял в ней Совет мудрецов Торы. Накануне выборов 1988 года основал новую партию Дегель ха-Тора. Он же создал в 1984 году партию ШАС, но отрекся от неё восемь лет спустя, когда её политический лидер Арье Дер'и вопреки запрету Шаха вошёл в левую коалицию Ицхака Рабина. Элиэзер Шах категорически противился Норвежским соглашениям и поэтому в 1996 году велел всем своим сторонникам проголосовать за Биньямина Нетаньяху. С тех пор раввин не принимал участия в политической жизни.