Основным источником сведений об Евфимии Великом является его житие, написанное Кириллом Скифопольским (525 — после 559), которого считают «одним из лучших агиографов по живости изложения» и отмечают, что он «обладает настоящими качествами историка». Этот текст жития позднее был переработан Симеоном Метафрастом. Никейским императором Феодором II было написано похвальное слово в честь преподобного Евфимия.
Родился в городе Мелитина. В три года лишился отца и по просьбе матери был принят на воспитание мелитинским епископом Отрием, который крестил его и провёл через все степени церковных должностей и рукоположил во иерея и поручил ему надзор за окрестными монастырями.
В возрасте двадцати восьми лет Евфимий отправился в паломничество в Иерусалим и после поклонения святыням отправился к местным отшельникам и узнав о их добродетелях пришёл в Фаранскую лавру преподобного Харитона, но поселился в келлии за её пределами рядом с другим отшельником Феоктистом с которым они стали духовными братьями. Спустя пять лет они вдвоём переселились в пустыню Кутила где стали жить в пещере затворниками. Вскоре сведения о подвижниках распространились и к ним стали приходить желающие присоединиться к их аскетической жизни. Евфимий, не желая лишаться своего уединения, направлял всех к Феоктисту, который стал духовным наставником общины из которой возник общежительный монастырь Феодосия (по имени первого игумена) или Нижний. Пещера где жил Евфимий стала церковью, а сам он, хотя и стал духовником братии, продолжил жить в затворе выходя из него только по субботам.
Около 420 года Евфимий исцелил сына арабского филарха принявшего крещение с именем Пётр (вместе с ним крестился и его народ для которого позднее Петра рукоположили во епископы). Известие об этом привлекло в монастырь людей, искавших наставления и исцелений. Тяготясь людским вниманием, Евфимий оставил монастырь и перешёл в пустыню Зиф, близ Мертвого моря. Там протокомит одной из деревень в благодарность за изгнание Евфимием беса из его сына построил ему монастырь Капарвариха на юго-восток Хеврона (между Абарасом и селением Аристовулиадою). В нём Евфимий поселился с несколькими своими учениками. Вскоре из-за многочисленных посетителей, нарушавших его покой Евфимий вернулся в Нижний монастырь, поселившись в одной из пещер в его окрестностях. Всех приходивших к нему он направлял к Феоктисту в Нижний монастырь. Однажды к нему пришли 3 брата-каппадокийца, которых Евфимий, повинуясь божественному указанию, взял себе в ученики. Постепенно число учеников возросло до одиннадцати и по просьбе Евфимия филарх Пётр построил ему церковь и келии, ставшие основой лавры преподобного Евфимия. 7 мая 428 (429) года иерусалимский патриарх Ювеналий совершил освящение монастырской церкви.
Евфимий принял решения Халкидонского собора и в период когда палестинское монашество было на стороне монофизитов боролся за православное вероучение. Он ушёл из монастыря в пустыню и оставался в ней пока Феодосий, захвативший иерусалимскую кафедру, не был смещён и патриарх Ювеналий не вернулся на своё место. С преподобным Евфимием связано возвращение в Православие проживавшей в Иерусалиме императрицы Евдокии. Она обратилась к Евфимию в отчаянии от бед, постигших её дочь, и он «утешил Евдокию, убедил её в её заблуждениях и возвратил к православию».
Евфимий скончался 20 января 473 года и был погребён в основанной им лавре. В ней его мощи видел русский паломник игумен Даниил в начале XII веке — «И ту лежит святый Еуфимие, и ини мнози святии отци ту лежат телесы яко живи». Однако сам монастырь уже пребывал в запустении. В XX веке были раскопаны руины лавры преподобного Евфимия, но в захоронении, которое было идентифицировано как принадлежащее преподобному мощи найдены не были. В настоящее время известно о следующих местах хранения мощей преподобного Евфимия: часть главы в Большом скиту Святой Анны на Афоне, левая нога — в Иверском монастыре, 5 пальцев — в церкви Святого Генесия (остров Милос).