Елле Ван Дамме начал свою футбольную карьеру молодёжном составе клуба «Беверен», затем Елле выступал за молодёжный состав клуба «Локерен». В 2001 году Ван Дамме подписал свой первый профессиональный контракт с клубом «Жерминаль Беерсхот». Дебют Елле состоялся 24 ноября 2001 года в матче против «Гента», Ван Дамме появился на поле на 80-ой минуте матча, который завершился победой «Жерминаля» со счётом 3:2. Всего в чемпионате Бельгии 2000/2001 Елле сыграл 7 матчей.
В феврале 2002 года Ван Дамме перешёл в нидерландский «Аякс», дебют Елле в клубе состоялся 14 апреля 2002 года в матче против роттердамской «Спарты», Елле вышел на замену на 79-ой минете матча, который завершился уверенной победой «Аякса» со счётом 4:0. Это был единственный матч Елле в чемпионате Нидерландов сезона 2001/2002. В сезоне 2002/2003 Елле больше получал игрового времени, отыграв в чемпионате 11 матчей. В 2004 году Елле в составе «Аякса» стал чемпионом Нидерландов сезона 2003/2004.
В 2004 году Елле перешёл в английский «Саутгемптон». Дебют Ван Дамме в английской Премьер-Лиги состоялся 28 августа 2004 года в матче против лондонского «Челси», «Саутгемптон» проиграл со счётом 2:1, а Елле в матче вышел на замену на 83 минуте. Основным игроком «Саутгемптона» Елле так и не стал, отыграв в сезоне всего 6 матчей. В 2005 году Елле был отдан в аренду немецкому «Вердеру». Дебют Ван Дамме состоялся 6 августа 2005 года в матче против «Арминии», Елле появился на поле на 61-ой минуте матча, который завершился победой «Вердера» со счётом 5:2. Всего в составе «Вердера» Елле повёл 8 матчей и забил 1 мяч. После окончания аренды Ван Дамме в 2006 году перешёл в «Андерлехт». В своём дебютном сезоне за «Андерлехт» Елле провёл 24 матча, а также стал чемпионом Бельгии сезона 2006/2007. В сезоне 2007/2008 Ван Дамме стал вице-чемпионом Бельгии, а также завоевал кубок Бельгии, в финале которого «Андерлехт» победил клуб «Гента» со счётом 3:2.
Во время зимнего трансферного окна 2009 года в услугах Ван Дамме было заинтересованно несколько европейских клубов, в том числе из Восточной Европы, среди которых был и казанский «Рубин», который нуждался в усиление линии обороны. Но в итоге генеральный менеджер «Андерлехта» Херман ван Холсбек заявил, что Елле не покинет клуб до конца сезона. Сам же Ван Дамме в интервью фламандской газете «Het Laatste Nieuws» заявил, что ему лестно узнать об интересе со стороны такого клуба как «Рубин», но так как супруга Елле, Элке, беременна, то Ван Дамме не пожелал ехать в Россию в одиночку, но заявил что будет готов обсуждать трансфер в октябре 2009 года, когда ожидается рождение его сына..1 июня 2010 года Елле подписал 3-ёх летний контракт с возможностью продления ещё на год .
В национальной сборной Бельгии Ван Дамме дебютировал 29 марта 2003 года в матче против сборной Хорватии, который завершился крупным поражением Бельгии со счётом 4:0.