Происходил из ассимилированной еврейской семьи. В 1899 г. окончил юридический факультет университета в Вене и вступил в Социал-демократическую партию Венгрии (СДПВ). В своих социалистических симпатиях укрепился под влиянием русских революционеров, с которыми общался во время учёбы в Вене. С 1900 по 1902 гг. редактировал социал-демократическую газету «Слово народа» (венг. N?pszava), в которой выступал с теоретическими статьями по проблемам истории рабочего движения и развивал идеи исторического материализма.
С 1901 г. сотрудник, с 1911 г. — директор Центральной библиотеки Будапешта.
С 1905, после поражения на партийном съезде, начинает отходить от социал-демократии к революционному синдикализму. Однако в это же время, в 1905—1909 гг. Сабо переводит на венгерский и издает избранные произведения Карла Маркса и Фридриха Энгельса, создает «Библиотеку по социальным наукам». Совместно со своим другом, социологом либерального толка Оскаром Яси, редактировал журнал «Двадцатый век» («Huszadik Sz?zad»). Входил в возглавляемый Дьёрдем Лукачем «Воскресный кружок», в котором состояли такие деятели венгерской культуры, как Бела Балаш, Фредерик Антал, Бела Фогараши, Золтан Кодай, Бела Барток, Арнольд Хаузер, Карл Мангейм.
Во время Первой мировой войны вернулся к активной политической деятельности. С 1914 по 1918 гг., совместно с группой революционных социалистов, организует антивоенную борьбу. Умер накануне венгерской буржуазно-демократической революции («Революции астр»), перед самой смертью получив весть об избрании его членом Социалистической академии в Москве.
Имя Эрвина Сабо носит библиотека в Будапеште (венг. F?v?rosi Szab? Ervin K?nyvt?r), в которой он работал. В сентябре 2010 г. государственный секретарь Геза Сёч потребовал переименовать столичную библиотеку после соответветствующей инициативы группы малоизвестных национал-консервативных историков. Представители правого лагеря при этом назвали Сабо «коммунистическим идеологом» и «тоталитарным левым интеллектуалом», хотя сам историк формально даже не был членом Венгерской коммунистической партии, основанной через месяц после его смерти. Новости о грядущем переименовании вызвали бурную дискуссию в венгерских интеллектуальных и политических кругах: в защиту честного имени Эрвина Сабо вступились, в частности, философ и бывший диссидент Гашпар Миклош Тамаш и писатель Дьёрдь Далош.