Родился в семье мелкого служащего. С 1904 — член группы сионистов-социалистов. В начале 1906 арестован в Мариямполе по обвинению в «доставлении средств необнаруженным противозаконным сообществам» (из «Обвинительного акта» Виленского военно-окружного суда) и присужден к 4 годам каторжных работ на строительстве «Колесухи» — Амурской колёсной дороги, окончательно подорвавшей его физическое и психическое здоровье. Здесь он сблизился с крупными деятелями партии социалистов-революционеров (Е. Созонов, П. Прошьян). Заболел чахоткой и был переведён на поселение, откуда в 1909 бежал за границу.
Первая мировая война застала Соболя в Париже, где он пытался вступить в Иностранный легион, но не прошёл из-за слабого здоровья. В 1915 г. через Сербию нелегально вернулся в Россию. В качестве корреспондента нескольких газет побывал на Кавказском фронте. После Февральской революции 1917 г. Соболь поступил в школу прапорщиков, но не окончил её, став комиссаром Временного правительства при 12-й армии.
После Октябрьского переворота отошел от политической деятельности и после окончания гражданской войны опубликовал в московских газетах открытые письма, в которых «признал» советскую власть (1923). Жил в Киеве, в Крыму, с 1922 в Москве. В 1922 — секретарь правления Всероссийского союза писателей (подпись Соболя, между прочим, стоит на членском билете Сергея Есенина).
С юношеских лет страдал от тяжелой депрессии, неоднократно пытался покончить с собой. 7 июня 1926 года застрелился в Москве, на Тверском бульваре, у памятника Пушкину. Нет доказательств тому, что Соболь специально нанес себе рану в живот, подражая ранению А.С.Пушкина. По утверждению людей, лично знавших Соболя, разговаривавших с врачами и занимавшихся его похоронами, "он целил в грудь, но рука дрогнула, и он попал в живот" (см. Саломея Хлавна "Наедине со смертью". Книга основана на хранившихся в семье документах, впоследствии переданных в Иерусалимский университет, и воспоминаниях матери автора - первой жены писателя, Р.С. Бахмутской). Незадолго до смерти закончил подготовку к печати своего собрания сочинений в четырёх томах.
Похоронен 9 июня на Новодевичьем кладбище.
Отец поэта Марка Соболя.
Первая супруга (до 1919 года) - Рахиль Сауловна Бахмутская-Соболь (1883-1979), во втором браке Рочко (была сестрой Льва Сауловича Бахмутского, мужа актрисы М.Д. Синельниковой, и Софьи Сауловны Рубиной, супруги философа Арона Ильича Рубина).
Вершиной художественной прозы Соболя считается повесть «Салон-вагон» (1922). Ее герой, комиссар Временного правительства, в прошлом революционер и каторжанин (автобиографические черты), видит, как долгожданная революция превращается в кровавый кошмар, но бессилен помешать этому.
В 1925-м году один из журналов, издававшийся газетой «Гудок», распространил газету с просьбой назвать имя лучшего беллетриста. Большинство читателей назвали Андрея Соболя (см. «Гудок» № 131(1813) 9 июня 1926 г. Вал. К. «Андрей Соболь»). После 1928 г. книги Соболя были признаны (по отзыву Горького) упадническими и не переиздавались.