Начал учиться музыке у своего отца, органиста, начал сочинять в 16 лет, в 17 лет завершил фортепианный концерт. В 1827—1832 гг. изучал теологию в Страсбургском университете, не оставляя, однако, занятий музыкой. В год окончания университета он окончил и свою первую оперу «Густав Васа», за которой последовали «Смерть Оскара» (нем. Oskars Tod; 1833) и «Сарацин» (нем. Der Sarazene; 1834); кроме того, Кастнер написал в Страсбурге три симфонии, пять увертюр, ряд произведений для духового оркестра (поскольку некоторое время руководил местным военным оркестром). Четвёртая опера Кастнера, «Царица сарматов» (нем. Die K?nigin der Sarmaten), была наконец поставлена в Страсбурге 13 июня 1835 года — с таким успехом, что муниципалитет предоставил молодому композитору стипендию для совершенствования мастерства в Париже.
В Парижской консерватории основными наставниками Кастнера стали Антонин Рейха и Анри Монтан Бертон, сразу высоко оценившие, прежде всего, теоретическое и педагогическое дарование 25-летнего музыканта: уже через год их ученик завершил работу над «Общим курсом инструментовки» (фр. Trait? general d’instrumentation), годом позже изданным под грифом Королевской академии изящных искусств; книга была подписана в печать комиссией в составе авторитетнейших музыкантов эпохи во главе с руководителем консерватории Луиджи Керубини. Учебник Кастнера был немедленно принят для преподавания в консерватории и послужил моделью для опубликованного семью годами позже аналогичного трактата Гектора Берлиоза, который был много лет дружен с Кастнером: по словам видного исследователя жизни и творчества Берлиоза Д. Керна Холомена, в своём труде «Берлиоз как будто пытался опередить Кастнера в его же собственной концепции».
В дальнейшем Кастнер опубликовал множество других учебных пособий — как по инструментовке, так и исполнительству на самых разных инструментах, от литавр до саксофона, а также «Общее руководство по военной музыке для французских армий» (фр. Manuel g?n?ral de musique militaire ? l'usage des arm?es fran?aises; 1848). Кастнер также составил собрание «Песни французской армии» (фр. Les chants de l'arm?e fran?aise; 1855), предварив его ценным историческим очерком.
Занятия композицией в меньшей степени занимали Кастнера в парижский период. Он сочинил ещё четыре оперы (и две неоконченные), из которых только «Маска» (итал. La maschera; 1841) была поставлена в Опера Комик, а «Последний царь Иудеи» (фр. Le dernier roi de Juda; 1844), интересная тем, что здесь впервые в оперной партитуре был употреблён саксофон, была представлена в концертном исполнении. Кастнер был и одним из первых композиторов, писавших специально для саксофона. Кроме того, к сравнительно позднему этапу творчества Кастнера относится многочисленная фортепианная музыка, особенно вальсы.
Отдельную своеобразную часть творческого наследия Кастнера представляют собой так называемые «книги-партитуры» (фр. livres-partitions) — произведения для хора и оркестра, сочинённые Кастнером в качестве приложения к книгам (литературный текст и партитура публиковались под одной обложкой). Три такие книги были выпущены Кастнером вместе с Эдуаром Тьерри: «Танцы смерти» (фр. Les danses des morts; 1852), посвящённые теме «музыка и смерть», «Голоса Парижа» (фр. Les voix de Paris; 1857), рассказывающие о криках и распевах уличных и рыночных торговцев от Средневековья до настоящего времени, и «Музыкальная паремиология французского языка» (фр. Par?miologie musicale de la langue fran?aise; 1866).
Кастнер также много печатался как музыкальный критик, в течение 20 лет Кастнер работал над обширным музыкальным словарём, который остался незаконченным.