Родился в семье гитарного мастера, и, получив музыкальное образование у композитора Андреаса Бергрена, стал скрипачом в Датском Королевском оркестре, который в 1841 впервые исполнил его увертюру «Воспоминания Оссиана» (дат. Efterklange af Ossian). Написанная вслед за ней 1-я симфония получила одобрение Мендельсона, исполнившего её в марте 1843 в Лейпциге с оркестром Гевандхауза и пригласившего Гаде вторым дирижёром в оркестр, где последний стал также преподавать в новосозданной консерватории. После кончины Мендельсона в 1847 Гаде должен был стать его преемником на посту руководителя оркестра, но начавшаяся Датско-прусская война вынудила его вернуться на родину.
В Копенгагене Гаде стал руководителем Копенгагенского музыкального общества, при котором организовал хор и оркестр, и занимал этот пост до своей кончины. Хотя ему не удалось получить пост органиста в Копенгагенском соборе, с 1850 до своей смерти он занимал аналогичную должность в церкви Хольмен. Женившись в 1852 на дочери Иоганна Хартмана, Гаде через некоторое время вместе с последним и Хольгером Паули стал директором Копенгагенской консерватории, в частности, руководя обучением Грига и Нильсена.
Сын композитора Аксель Гаде также стал известным композитором и скрипачом.
Среди произведений Гаде — 8 симфоний, несколько увертюр, концерт для скрипки с оркестром, камерная и балетная музыка, произведения для фортепиано и органа, а также ряд кантат. Работая в русле романтизма, Гаде активно использовал в своём творчестве датский фольклор.
Кантата Гаде «Эльверскуд» (дат. Elverskud) в 2006 вошла в Датский культурный канон.