Родился в Мюнхене в 1952 году. В шесть лет начал обучаться игре на фортепиано, а в одиннадцать у мальчика обнаружили абсолютный музыкальный слух. Учился в Мюнхенской музыкальной академии, а параллельно работал в звукозаписывающей студии. Его первой удачей стала работа над дебютной пластинкой Аманды Лир в 1977 году. В 1978 знакомится с Джорджио Мородером, с которым потом долго будет сотрудничать. Вместе с ним Гарольд работал над альбомами Донны Саммер а также над саундтреками к фильмам Полуночный экспресс, Американский жиголо, Лисы, Похититель сердец и Лучший стрелок. В течение 80-х продолжал писать музыку к кинофильмам и продюсировать других исполнителей. Так, в 1984 Гарольд сотрудничает с Лаурой Брэниган. Именно он сделал аранжировку ее самого известного хита Self Control. Во многих странах эта композициия попала на первые места в чартах.
В 1984 Фальтермейер создает свое самое известное произведение — Axel F, заглавную тему к фильму Полицейский из Беверли-Хиллз, за которую в 1986 году получает свою первую Грэмми. Эта инструментальная композиция, записанная с помощью синтезаторов Roland Jupiter 8, Moog Modular, Roland JX3P, Yamaha DX7 и драм-машины LinnDrum, популярна и по сей день. На нее было сделанно огромное количество кавер-версий. В 2005 она была ремиксована проектом Crazy Frog и взлетела на первое место в чарте Британии.