Родился в семье еврейского кантора, в детстве учился игре на фортепиано, еще в юности создал собственный ансамбль. Достигнув успеха в качестве певца и пианиста, Арлен в двадцатилетнем возрасте перебрался в Нью-Йорк, где первоначально был аккомпаниатором в водевилях. В 1930-е годы был автором музыки для известного ночного клуба «Cotton Club» в Гарлеме, а также впервые стал предлагать свои музыкальные труды для бродвейских мюзиклов и голливудских кинокартин. В 1940-е годы сотрудничал с поэтом-песенником Джонни Мерсером, благодаря чему появились такие хиты как «Blues in the Night», «That Old Black Magic», «Ac-Cent-Tchu-Ate the Positive» и другие. После смерти жены в 1970 году Арлен потерял интерес к жизни, стал избегать друзей и родственников, постепенно становясь затворником. В 1971 году он был введен в национальный Зал славы композиторов.
Гарольд Арлен умер в Нью-Йорке в 1986 году в возрасте 81 года.