С 1792 года проживал в Вене. В 1808 году получил должность придворного механика.
Дружил с Бетховеном, для которого сконструировал слуховую трубку.
В 1807 году представил публике «пангармоникон» — механический орган наподобие шарманки с цилиндрическими валиками, который имитировал звучание всех инструментов военного оркестра, действуя при помощи мехов. Пангармоникон механически воспроизводил несколько популярных произведений, нанесенных изобретателем на валики: увертюру из оперы «Лодоиска» Луиджи Керубини, фрагменты «Военной симфонии» Йозефа Гайдна и ораторий Генделя.
Для изобретённого Мельцелем пангармоникона Керубини сочинил музыкальное произведение «Эхо», Бетховен — произведение «Битва Веллингтона при Виттории», Мошелес — несколько маршей.
В 1812 году сконструировал один из вариантов метронома (патент на который он получил в Париже в 1816 году) — в виде молоточка, отбивающего удары о деревянную наковальню. Мельцель развивал идею музыкального хронометра Штекеля (St?ckel’s Tactmesser), описание которого было помещено в 1796 году в «Journal f?r Deutschland». Кроме того, Мельцель пользовался советами механика Дитриха Николауса Винкеля, сконструировавшего свой вариант метронома в 1812 году в Амстердаме. Ознакомившись в 1812 году с конструкцией Мельцеля, Бетховен написал вокальный канон «Та-та-та», исполненный впервые на дружеской вечеринке в честь Мельцеля.
В 1813 году Мельцель конструирует панораму, изображающую пожар Москвы. Музыкальным сопровождением панорамы должна была стать написанная Бетховеном для пангармоникона «Битва при Виттории» (весь план пьесы и характер изложения музыкального материала были придуманы Мельцелем). Мельцель планировал представить всю конструкцию в Лондоне. Чтобы собрать денег на поездку, он предложил композитору исполнить «Битву» для венской публики в виде обычной симфонической пьесы. В декабре 1813 года симфоническая версия «Битвы» была в огромным успехом исполнена под управлением Бетховена (в исполнении принимали участие Антонио Сальери, Иоганн Непомук Гуммель, Джакомо Мейербер и сам Мельцель).
Мельцель усовершенствовал шахматный автомат Вольфганга фон Кемпелена, с которым несколько раз выступал публично. Разоблачению мнимого шахматного аппарата посвящена статья Эдгара По «Шахматный аппарат доктора Мельцеля».
В 1825 году Мельцель эмигрировал в Америку.