Из семьи мелкого купца, торговца бакалейными и колониальными товарами. Закончил Сумское уездное училище, в 1862 году переселился в Харьков.
В молодости увлекался лево-народническими идеями и поэзией Т. Г. Шевченко, участвовал в украинском национальном движении, возглавлял харьковскую «Громаду» — кружок украинской интеллигенции. Держа чайный магазин, всё свободное время посвящал самообразованию.
В период «банковской лихорадки» конца 1860-х — начала 1870-х годов становится инициатором создания Харьковского общества взаимного кредита (1866), затем основывает Харьковский Торговый банк (1868 год, основной капитал 500 тыс. руб.), ставший третьим в России учреждением акционерного коммерческого кредита после Петербургского Частного и Московского Купеческого банков. В 1871 году инициирует создание первого в стране акционерного ипотечного банка — Харьковского Земельного, открытого с капиталом 1 млн руб., правление которого возглавлял до своей смерти в 1901 году (Устав банка был написан совместно с И. В. Вернадским, отцом В. И. Вернадского).
В 1879 году А. К. Алчевский учредил Алексеевское горнопромышленное общество (капитал 2 млн руб.), владевшее богатейшими залежами антрацита в Славяносербском уезде Екатеринославской губернии. В 1900 году компания добыла 45 млн пудов угля, заняв по объёму добычи третье место среди однородных предприятий Донбасса. Инициировал строительство металлургических заводов Донецко-Юрьевского металлургического общества (ДЮМО, 1895 год, основной капитал 8 млн руб.) возле станции Юрьевка (ныне Алчевск, ОАО «Алчевский металлургический комбинат») и общества «Русский Провиданс» в Мариуполе (ныне ОАО «Мариупольский металлургический комбинат имени Ильича»). Председатель Харьковского биржевого комитета. Личное состояние к 1900 году — до 30 млн руб.
В обстановке экономического кризиса 1899—1902 годов, получив отказ в помощи от министерства финансов, 7 мая 1901 года покончил с собой под поездом на Царскосельском вокзале Петербурга (по другой версии — был убит; против версии самоубийства говорит также то, что Алексей Кириллович был похоронен внутри ограды кладбища).
Смерть Алчевского послужила началом т. н. «харьковского краха» — пика экономического кризиса в начале 1900-х годов.
Помимо харьковской «громады», занимался широкой общественной и культурно-просветительской деятельностью. На собственные средства строил церкви, больницы, школы. Как частное лицо оплатил сооружение первого в мире памятника Тарасу Шевченко — в Харькове в 1899 году. В те времена невозможно было официально открыть памятник украинскому поэту, поэтому памятник был помещен в саду, на территории построенной в 1893 году зятем усадьбы Алчевских в Харькове (Мироносицкий переулок; в советское время Клуб Дзержинского, ныне ДК МВД). Автором памятника был скульптор Беклемишев; памятник не отличался особой монументальностью, однако был выполнен из дорогого белого мрамора. После банкротства Алексея Алчевского усадьбу в скором времени пришлось продать, и дальнейшая судьба памятника неизвестна.
Жена А. К. Алчевского — Христина Даниловна Алчевская (Журавлева) — педагог-просветитель, основоположник методики обучения грамоте взрослых.
Дети:
В честь А. К. Алчевского назван город Алчевск — по ходатайству российских промышленников, 1903 год.
В 2005 году Национальный банк Украины выпустил монету из серии «Видатні особистості України», которая посвящена Алексею Алчевскому. Монета приурочена к 170-летию со дня рождения известного промышленника и предпринимателя.
Памятники А. К. Алчевскому установлены в городах Алчевске (возле здания городского совета на площади Советской и возле металлургического комбината) и Харькове (дар города Алчевска, 2004 год).