После окончания учёбы на юридическом факультете Еврейского университета в Иерусалиме в 1956 году Шефи был призван в Армию обороны Израиля, где служил в бригаде «Голани». В 1959 году был переведён на службу в Военной прокуратуре.
В 1973 году был временно назначен на должность помощника Координатора правительственных действий на Территориях.
Возглавлял Департамент международного права Военной прокуратуры. В 1976 году был временно переведён в Министерство иностранных дел Израиля и назначен членом дипломатической миссии Израиля в ООН.
В 1979 году Шефи было присвоено звание бригадного генерала, и он был назначен на пост Главного военного прокурора, сменив на посту бригадного генерала Цви Инбара. Вышел в запас в 1984 году.
С 1988 по 1994 год Шефи исполнял должность Юридического советника Министерства обороны Израиля, с 1994 по 1998 году — должность представителя по вопросам сотрудничества в сфере безопасности в посольстве Израиля в США.
Входил в состав израильской делегации на конференциях Международного движения Красного Креста и Красного Полумесяца (на XXI конференции в Стамбуле в 1969 году и на XXIV конференции Маниле в 1981 году). Также принимал прямое участие в мирных переговорах с Египтом в Каире в 1979 году и в Мадридской мирной конференции 1991 году.
Преподаёт военное право в Тель-Авивском университете и в Университете имени Бар-Илана. Является членом совета директоров Центра по исследованию Сил еврейской обороны имени Исраэля Галили.
Шефи неоднократно принимал участие в международных конференциях в рамках общественной дипломатии, направленной на разъяснение позиций Израиля в вопросах международного и военного права.
Проживает в Ор-Йехуде. Женат на Эстер Шефи, отец двоих детей (сын Йишай и дочь Пазит). В террористическом акте 11 сентября 2001 года погиб младший сын Шефи, Хаггай, который находился на тот момент на 106-ом этаже северной башни ВТЦ.