Норвел Харди появился на свет 18 января 1892 года в небольшом городе Гарлем в штате Джорджия. Его отец, Оливер Харви, был ветераном Гражданской войны в США, участником сражения при Энтитеме, а мать, Эмили Норвел, была представительницей старейшей семьи в штате, а среди её предков был капитан Хью Норвел, участвовавший ещё в колониальных войнах в XVIII веке. Норвел был самым младшим из пяти детей в семье, а менее чем через год после его рождения, глава семейства умер.
Смерть отца всё же не оставила семью без средств к существованию, так как их мать была успешной владелицей отеля. Будучи ещё мальчишкой, Норвел был отправлен в военную академию в соседний город Милледжвилль, где пробыл до 13 лет. В 1905 году он поступил в методистский колледж в город Янг-Харрис на севере Джорджии, где получил среднее образование. Интереса к получению знаний он не испытывал, зато с юных лет увлекался музыкой и театром. Его мать поддерживала увлечения сына и отправила его в школу-интернат в Атланту, чтобы изучать пение и музыку. Но Норвел часто пропускал занятие и в итоге сбежал из школы и присоединился к странствующей театральной группе. Где-то в 1910 году, в знак уважения к отцу, Норвел прибавил к своему имени имя Оливер, став именоваться Оливер Норвел Харви, а впоследствии и вовсе стал использовать имя отца как собственное.
После недолгого участия в театральной группе Оливер вернулся в Милледжвилль, где устроился на работу в недавно открывшийся кинотеатр, в котором совмещал обязанности киномеханика, билетёра, менеджера и дворника. Вскоре он стал одержим киноиндустрией и решил, что может намного лучше сыграть в кино, чем это делают увиденные им актёры. По совету друга в 1913 году он переехал в город Джэксонвилл в штат Флорида, где стал в ночное время петь в водевилях в кабаре и ночных клубах, а днём проводил время на местной киностудии «Lubin Studios». Там он познакомился с пианисткой Маделин Салошин, которая в 1913 году стала его первой супругой.
Его кинодебют состоялся год спустя на этой же студии в комедийном немом фильме «Перехитрить папу», где он значился под именем О. Н. Харди. Только в 1914 году Харди появился почти что в 40 кинокартинах. Из-за своего высокого роста и большого веса ему доставался лишь ограниченный круг ролей. Наиболее часто он играл толстяков или злодеев в комедийных фильмах, где его крупные габариты лишь дополняли его образы. После не менее плодотворного 1915 года Харди переехал в Нью-Йорк, где стал сниматься на киностудиях «Path?», «Casino» и «Edison Studios».
По возвращении в Джэксонвилл Харди уже не вернулся на «Lubin», а стал сотрудничать со студиями «Vim» и «King Bee studios». Там он часто снимался вместе с Чарли Чаплином, при этом во многом подражая комику Эрику Кэмпбеллу, с которым Чаплин сотрудничал годом ранее. После переезда в Лос-Анджелес в 1917 году Оливер Харди стал работать сразу на нескольких независимых голливудских студиях. В том же году он снялся в комедии Брончо Билли Андерсона «Пёс-талисман», где его коллегой по экрану впервые стал Стэн Лорел. Всё же их знаменитый дуэт образовался позже, а после 1917 они не снимались вместе несколько лет.
С 1918 по 1923 год Харди работал на киностудии «Vitagraph», где также играл комедийные роли толстяков в компании с актёром Ларри Симонном. В 1919 году он разошёлся со своей женой, а в 1920 году был оформлен официальный развод, якобы из-за неверности Харди. Уже через год он вновь связал себя узами брака с актрисой Миртл Ривз.
В 1925 году он вновь встретился со Стэном Лорелом на киностудии «Hal Roach Studios», где тот был режиссёром фильма «Да, да, Нанетт!», и где Харди в свою очередь исполнил одну из ролей. Их тесное сотрудничество началось в 1927 году со съёмок в фильмах «Утиный суп» и «Скользкие жёны». Режиссёр студии «Hal Roach Studios» Лео МакКэри заметил большой интерес аудитории к совместным работам Харди и Лорела и в дальнейшем стал умышленно снимать их вместе, что в итоге к концу того же года привело к появлению дуэта под названием Лорел и Харди, ставшего, возможно, одним из самых известных комических дуэтов в истории кино.
Вслед за этим последовало множество новых совместных комедий, среди которых «Рано в кровать» (1928), «Большой бизнес» (1929), «Идеальный день» (1929), «Ещё одна хорошая путаница» (1930), «Будь больше!» (1931) и множество других кинокомедий. Их первая комедия, снятая в цвете, вышла на экраны в 1930 году и называлась «Песня мошенника», а год спустя они впервые появились в полнометражном фильме «Простите нас», хотя вплоть до 1935 года продолжали появляться и в короткометражках. Их наивысшим достижением стала комедия «Музыкальная шкатулка», которая в 1932 году принесла Лорелу и Харди премию «Оскар» в новой номинации «Лучший короткометражный комедийный фильм».
Несмотря на такой творческий успех, в личной жизни Оливера Харди было не всё гладко. Его жена Миртл Ривз стала жертвой алкоголизма, из-за чего в 1937 году их пара распалась. После перезаключения контракта с Холом Роучем Лорел и Харди оказались на студии «General Services Studio», где в 1939 году появились вместе в успешной комедии «Летающая парочка». На съёмках этой картины Оливер Харди познакомился со сценаристкой Вирджинией Люсиль Джонс, которая год спустя стала его супругой, и они прожили в счастливом браке 17 лет.
Со вступлением США во Вторую мировую войну в декабре 1941 года в стране появляется организация «USO», которая стала заниматься организацией развлекательных программ и концертов для военнослужащих союзных войск. Основными артистами там были знаменитые американские звёзды, в том числе и Лорел с Харди. Они выступали перед солдатами с различными комическими номерами, в большинстве своём в Великобритании.
В то же время они окончательно покинули студию Хола Роуча и стали сниматься на таких крупных кинокомпаниях, как «20th Century Fox» и «MGM». Несмотря на больший коммерческий успех этих фильмов, их художественная особенность оставляла желать лучшего, что в итоге привело к спаду их популярности. К концу 1940-х годов они почти совсем перестали появляться на большом экране, а в 1947 году отправились в гастрольный шестинедельный тур по Великобритании. Из-за большого успеха, который сопровождал их во время всех выступлений, их тур растянулся на несколько лет, включив в себя страны Скандинавии, Бельгию и Францию, а затем вновь Великобританию.
В 1949 году друг Оливера Харди, также знаменитый актёр Джон Уэйн, убедил его вернуться на большой экран, пригласив его в фильм «Боец из Кентукки», где он сам играл главную роль. Год спустя, уже по настоянию Фрэнка Капры, Оливер Харди снялся в небольшой роли в его фильме «Стремясь высоко» с Бингом Кросби в главной роли. В 1951 году Лорел и Харди в последний раз появились вместе на большом экране в совместной французско-итальянской комедии «Атолл К» (в американском прокате — «Утопия»), которая по многим пунктам уступала их прежним совместным проектам и не принесла им большого успеха. В 1955 году они заключили контракт с Холом Роучем-мл. на съёмки телевизионного комедийного шоу, но из-за инсульта Лорела, после которого он долго не мог оправиться, и проблем со здоровьем самого Харди, этот проект так и не был реализован.
После сердечного приступа, который Оливер Харди перенёс в мае 1954 года, он стал предельно чётко следить за своим здоровьем. За последующие пару месяцев он сбросил почти 70 кг веса, став при этом совершенно другим человеком, в котором тяжело было узнать прежнего толстяка Оливера Харди. В своих письмах к Лорелу он сообщал ему о том, что возможно болен раком, что, скорее всего и стало причиной большой потери веса.
В сентябре того же года у Харди случился инсульт, в результате которого он в течение нескольких месяцев не мог разговаривать. Всё это время рядом с ним была его жена Вирджиния, которая постоянно о нём заботилась. В начале августа 1957 года актёр перенёс ещё два инсульта, после чего впал в кому, из которой так и не вышел. Оливер Харди скончался 7 августа 1957 года в возрасте 65 лет. Он был похоронен на мемориальном кладбище в Северном Голливуде. Его вклад в кинематограф был отмечен звездой на Голливудской аллее славы.