Гимназию окончил во Владивостоке. После окончания поступил в Петроградский университет на матмех, но был исключен за непосещение. Вернулся во Владивосток, где выпустил первую книгу в 1917 г. Во время военной интервенции в 1919—1920 гг. находился в тюрьме за революционную пропаганду. В 1920 г. Ярославский возглавлял культурно-просветительскую работу в отряде иркутского анархиста Н. Каландаришвили, печатал свои книги в его походной типографии. Далее его маршрут движения на запад можно проследить по сборникам его стихов, изданных в Иркутске (1920), Нижнеудинске и Чите (обе — 1921).
В книгах 1919—1921 годов поэт двигается от пацифистской темы к главной теме своей лирики середины 1920-х годов — идее личного бессмертия.
В Москву приезжает в 1922 году и сразу примыкает к группе биокосмистов. Начиная с 1922 года говорит в стихах о бессмертии не только для людей, но и для всего живого, об идее холодового анабиоза (в США это позже назовут крионикой) всего человечества, с тем, чтобы проснуться уже в новом, совершенном мире.
Осенью 1922 г. в Петрограде на одном из вечеров биокосмистов знакомится со своей будущей женой, Евгенией Исааковной Маркон-Ярославской (1902—1931). Дочь филолога-гебраиста, она в том же 1922 году окончила университет (Бестужевские курсы).
В ноябре 1922 года журнал А. Ярославского «Бессмертие» был закрыт Петроградским губисполкомом по обвинению в порнографии.
С конца 1922 г. до середины 1926 г. Ярославский с женой путешествуют по СССР. В конце сентября 1926 г. они выехали в Берлин. Там Ярославский организовал большую лекцию-диспут на тему «Россия и Москва» с критикой властей. В Берлине напечатал книжку своих стихов «Москва-Берлин». Затем Ярославские выехали в Париж, где прожили два месяца. Ярославский настоял на возвращении в СССР. «Еду в Россию расстреливаться… А если большевики меня не расстреляют, — тем лучше!» На пароходе из Щецина вернулись в Ленинград.
В мае 1928 года Александр Ярославский был арестован, постановлением ОГПУ от 1 октября 1928 года приговорен к пяти годам заключения (ст. 58-4) и отправлен на Соловки. В СЛОН ОГПУ прибыл 4 ноября 1928 г. В лагере поэт был непопулярен как среди администрации (характеристика «Центральной арестантской комиссии» от 23 августа 1929 года: «От работы отлынивает, симулирует, требует постоянного наблюдения. Поведение плохое»), так и среди заключенных, которые считали его сексотом.
Во время нахождения под стражей в Москве его жена следовала за ним, писала апелляции и всячески поддерживала мужа. К этому моменту она уже жила в воровской среде, училась их этике, и надеялась создать «воровской уголовно-политический беспартийный комитет», который бы занимался освобождение из мест заключения «смертников», а затем и других крупных преступников. К 1930 году она уже неоднократно арестовывалась за кражи, приговаривалась к высылке, сначала в Череповецкий округ, а затем в Сибирь. Из Сибири Евгения сбежала на Соловки, чтобы устроить мужу побег. Планы их раскрылись. За попытку побега Ярославский был приговорен к высшей мере наказания и расстрелян не позднее 10 декабря 1930 г. Евгения была осуждена и по совокупности приговорена к трём годам лагерей. Отбывала срок на Соловках, покушалась на жизнь начальника лагеря и там же была расстреляна по статье «терроризм» 20 июня 1931 года.
После смерти поэта его имя и творчество было предано забвению. Поэт Л. Мартынов в 1970-х годах вспоминал, как в начале 1920-х годов его впечатлила «книжка космических стихов» А. Ярославского: «откуда вынырнул и куда девался этот Александр Ярославский? Не знаю.»
Д. Лихачёв в «Соловетских записях» (А. Солженицын в «Архипелаге ГУЛАГ» лишь повторяет эти записи) считает А. Ярославского сексотом: «предложение Ярославского [второй раз] стать антирел[игиозным] лектором и сексотом [мне кажется, что Ярославский – был тот самый; он вскоре был освобожден]». Однако Д. Лихачёв ошибается: Ярославский был вовсе не освобождён, а расстрелян, а под «тем самым», возможно, понимал известного в то время антирелигиозного лектора Емельяна Ярославского.