Ефраим Шей родился 17 июля 1839 года в местечке Шерман Товншип (округ Гурон, штат Огайо).
В 1861 году он переехал в деревню Муир (штат Мичиган) и вскоре был зачислен в 8-й волонтёрский пехотный полк Миссури (англ. 8th Missouri Volunteer Infantry). В своём дневнике во время Гражданской войны он сделал запись:
Получен приказ выступать. Сегодня мне 22 года и начал первый поход для защиты чести и флага нашей страны.
Первый свой паровоз Ефраим Шей построил в 1877 году, а в 1881 году получил патент на его конструкцию.