Экштейн происходил из буржуазной еврейской семьи. Его отец — Альберт — был химиком и изобретателем, а мать Амелия — домохозяйкой. У Густава было шестеро сестёр и три брата, в том числе теософ Фридрих Экштейн, активистка борьбы за женские права Эмма Экштейн и писатель-социалист Тереза Шлезингер. С 1897 года он был вовлечён в социал-демократическое движение, сотрудничал в журнале «Die Neue Zeit». Экштайн считается одним из основоположников австромарксизма. Он написал несколько фундаментальных трудов теории австромарксизма.