Алекс Харви родился в Глазго, в доме 49 на Гован Роуд, в Киннинг-парке. В пятнадцатилетнем возрасте он бросил школу после чего (как позже утверждал) перепробовал 36 разных профессий (в том числе был укротителем львов), прежде чем занялся музыкой. В 1954 году Харви дебютировал на профессиональной сцене, сыграв на трубе на свадьбе в Глазго. Его музыкой в те годы были диксиленд-джаз и скиффл, популярные в Шотландии в конце 50-х годов.
К 1955 году Алекс Харви успел поучаствовать в нескольких диксиленд- и джаз-бэндах. Наибольший след в его памяти оставило участие в двух группах саксофониста Билла Патрика (The Clyde River Jazz Band играл традиционный джаз, а Kansas City Skiffle Group специализировался на «молодежной» музыке с элементами кантри и фолка).
В 1957 году Харви победил в радиоконкурсе на звание «шотландского ответа» английскому тин-идолу Томми Стилу (получив титул Tommy Steel of Scotland). Основу его репертуара в то время составляли вещи Большого Билла Брунзи и Джимми Роджерса. После того, как популярность музыки скиффл сошла на нет, группа Харви переименовалась в Kansas City Counts и начала исполнять поп-каверы. В 1959 году Алекс возглавил Alex Harvey Soul Band (известный также как Alex Harvey’s Big Soul Band) и приобрел известность на местной сцене, начав регулярно выступать в Эдинбурге и Глазго, иногда — в связках с такими американскими звездами, как Джин Винсент и Эдди Кокрэн. Группа получила приглашение от гамбургского клуба Top Ten, после чего подписала контракт с Polydor Records, выпустив концертный альбом Alex Harvey and His Soul Band, в марте 1964 года. В Британии и США вышли также несколько синглов: «I Just Want to Make Love To You» (кавер Вилли Диксона) и «Got My Mojo Workin'» (Мадди Уотерс).
Вернувшись в Британию, Алекс в 1965 году пригласила брат Леса к записи альбома «The Blues», таким образом выполнив контрактные обязательства перед Polydor. Альбом успеха не имел и после выхода сингла «Ain’t That Just Too Bad» Алекс Харви распустил ансамбль, объявив, что с этих пор начинает карьеру фолк-сингера. Последняя продолжалась недолго: уже следующий сингл, «Agent Double-O Soul», кавер Эдвина Стара, был рок-н-ролльным. Примерно в то же время вышел ещё один сингл, «The Work Song», но к этому времени Харви разочаровался в бизнесе и даже объявил об уходе со сцены.
Вернувшись в 1966 году в Глазго, братья Харви объединили участия с несколькими местными музыкантами (среди них были Билл Патрик и певица Изобел Бонд) и собрали недолго просуществовавшую группу Blues Council. После её распада Алекс некоторое время играл в психоделической группе Giant Moth, а затем получил сольный контракт с Decca Records, которая выпустила синглы «Sunday Song» и «Maybe Someday», где ему аккомпанировали Giant Moth, успеха в чартах не имели.
В 1967 году Харви нашёл уже постоянную работу в инструментальной группе, сопровождавшей лондонскую постановку «Hair». Этот ансамбль записал концертный альбом Hair Rave Up где, помимо песен спектакля были и несколько композиций Харви. Его следующий сольный альбом Roman Wall Blues (1969) был концептуальным, но такжне не принес автору успеха, к которому тот так стремился. В 1970 году Харви с Рэем Расселлом образовал группу Rock Workshop, исполнявшую экспериментальный ритм-энд-блюз. В дебютном (одноимённом) альбоме была песня «Hole In Her Stocking», позже включенная в альбом «Framed».
В тот момент, когда карьера его близилась к закату, Алекс неожиданно сделал для себя историческое открытие: познакомился с творчеством прог-группы Tear Gas (Зал Клеминсон — гитара, Крис Глен — бас, Тед Маккенна — ударные, его кузен Хью Маккенна — клавишные), которая выпустила два альбома: Piggy Go Getter (1970) и Tear Gas (1971). В 1972 году Харви окончательно присоединился к участникам Tear Gas и образовал Sensational Alex Harvey Band.
Незадолго до этого Харви стал одни из «теневых» организаторов Stone the Crows: именно он познакомил своего младшего брата Лесли с певицей Мэгги Белл. Но почти сразу же произошла трагедия: Лес скончался, получив удар электрическим током на сцене во время выступления группы в Суонзи, Уэльс.
Первоначально музыкальная критика отнесла The Sensational Alex Harvey Band к глэм-рок-движению, но постепенно выяснилось, что Харви со своим невероятным размахом фантазии ближе к прог- и шок-року. Выступая в колледжах и студенческих клубах, группа выработала эксцентричный театрализованный стиль, который стал её фирменным знаком. Вскоре «Delilah» (кавер хита Тома Джонса) и «Boston Tea Party», принесли Алексу Харви успех, к которому он стремился всю жизнь.
Проблемы с позвоночником (усугублявшиеся физически тяжелой работой фронтмена на сцене) вынудили его в 1977 году объявить об уходе из группы. Альбом Fourplay группа записала и выпустила без него; он — записал самостоятельно Alex Harvey Presents the Loch Ness Monster. Их последний совместный альбом, «Rock Drill», вышел уже после распада группы.
В 1979 году Алекс Харви образовал The Electric Cowboys, выпустив альбом «The Mafia Stole My Guitar», но это его возвращение прошло незамеченным. 4 февраля 1982 года, в Зеебрюгге, Бельгия, ожидая парома после концерта, испытал острый сердечный приступ. По пути в больницу приступ повторился и оказался фатальным.