Родился в Витебске в семье раввина. Занимался винными откупами в Бессарабской, Киевской и Волынской губерниях. Во время Крымской войны держал винный откуп в осажденном Севастополе. В 1859 году основал в Санкт-Петербурге один из крупнейших в России банков, который внёс значительный вклад в развитие кредитного финансирования в России. Субсидировал строительство железных дорог, добычу золота на Урале, Алтае и в Забайкалье.
По инициативе Евзеля Гинцбурга царское правительство разрешило построить первую синагогу в Петербурге (Большую Хоральную Синагогу), еврейскую общину которого он возглавлял. В 1863 году учредил Общество для распространения просвещения между евреями в России и почти полностью его субсидировал.
В 1872 году, вслед за своим сыном Горацием, Евзель Гинцбург получил от великого герцога Гессен-Дармштадтского баронский титул; в 1874 году Александр II разрешил пользование этим титулом в России. Был женат на Расе Давидовне Дыниной - дочери содержателя почтовой станции в городе Орша.