Родился в семье крепостных дворовых крестьян (брат Михаил, сёстры Александра, Мария, Ольга). Чтению Желябова обучил его дед по матери Гаврила Тимофеевич Фролов; узнав об этом, помещик Нелидов решил продолжить обучение ребёнка. В 1860 г. Желябов был определён в Керченское уездное училище, позже преобразованное в классическую гимназию. В гимназии впервые познакомился с идеями социализма, прочитав книгу Н. Г. Чернышевского «Что делать?». Окончил обучение с серебряной медалью.
В 1869 г. Желябов поступил на юридический факультет Новороссийского университета в Одессе. Был активным членом студенческого кружка социалистов. В 1871 г. Желябов возглавил студенческие волнения, вызванные оскорбительным поведением преподавателя Богишича, за что был исключён из университета, а затем выслан из города. В следующем году Желябову отказали в восстановлении в университете. Он был вынужден зарабатывать на жизнь случайными уроками. Желябов знакомится с членами кружка «чайковцев» Ф. Волховского. В 1873 г., после женитьбы на Ольге Семёновне Яхненко, от брака с которой родился сын Андрей, Желябов переехал в Городище Киевской губернии. Здесь он познакомился с деятелями украинских революционных организаций (в том числе с членами «Громады», организации националистического толка). В том же году вернулся в Одессу, стал членом кружка Волховского. В 1874 г. был арестован по делу П. Макаревича, однако затем был освобождён под залог. В 1875—1877 гг. — участник «хождения в народ». В 1877 г. был арестован и доставлен в Петербург. Здесь, в Доме предварительного заключения, он познакомился со многими народниками, включая С. Перовскую. Участвовал в «процессе 193». 23 января 1878 г. был оправдан. Затем Желябов проживал в Подольской губернии, продолжая вести пропаганду среди крестьян.
Не видя результатов пропаганды в деревне, как и многие другие народники, Желябов постепенно пришёл к убеждению в необходимости политического террора. В июне 1879 года принял участие в Липецком съезде, стал членом Исполнительного комитета новой партии. Затем Желябова приняли в члены «Земли и воли», поэтому он смог участвовать в Воронежском съезде. После раскола «Земли и воли» стал одним из наиболее активных деятелей «Народной воли».
17 ноября 1879 года под Александровском участвовал в неудавшемся покушении на возвращавшегося из Крыма императора Александра II посредством подрыва его поезда.
В феврале 1880 года выступил как один из организаторов взрыва в Зимнем дворце, подготовленного и осуществлённого С. Халтуриным. К 1880 году стал фактическим руководителем Исполнительного комитета; одним из организаторов рабочей, студенческой и военной организации «Народной воли». Был одним из разработчиков программы рабочих членов «Народной воли».
Зимой 1880—1881 гг. руководил подготовкой очередного покушения на императора. Арестован вместе с М. Тригони в меблированных комнатах г-жи Мессюро, располагавшихся на углу Невского проспекта и Караванной улицы, в № 12, 27 февраля, то есть за 2 дня до подготовленного им удавшегося покушения на Александра II. Потребовал приобщить себя к делу цареубийц.
Приговорён к смертной казни наряду с другими народовольцами открывшимся 26 марта Особым присутствием Правительствующего сената (первоприсутствующий сенатор Фукс, прокурор Н. Муравьёв). На суде отказался от защитника; пытался излагать свои убеждения и программу партии («…служил я делу освобождения народа. Это моё единственное занятие, которому я много лет служу всем своим существом», — заявил он при допросе).
Повешен на плацу Семёновского полка вместе с другими первомартовцами 3 (15) апреля 1881 г.
Именами организаторов убийства, Андрея Желябова и Софьи Перовской, названы улицы более, чем в двух десятков городов России и Украины[уточнить].
В. И. Ленин ставил Желябова в один ряд с такими великими революционерами, как Робеспьер и Гарибальди.
Исполнявший обязанности прокурора при Особом присутствии Правительствующего сената в процессе по делу «О злодеянии 1 марта 1881 года, жертвою коего стал в Бозе почивший император Александр II Николаевич» Н.В. Муравьев, на заседании 28 марта 1881 года: