С 1804 г. учился в Вене у Антонио Сальери. В 1810 г. начал преподавать фортепиано и пение в школе для слепых. С 1824 г. придворный органист, с 1851 г. профессор Венской консерватории.
Теоретические взгляды Зехтера изложены им в трёхтомном труде «Основы музыкальной композиции» (нем. «Die Grunds?tze der musikalischen Komposition»; Лейпциг, 1853—1854), развивающем идеи Жана Филиппа Рамо и оказавшем значительное влияние на современных и последующих исследователей.
Как композитор Зехтер знаменит тем, что оставил около 5000 фуг, имея привычку сочинять по меньшей мере по одной фуге в день; вероятно, Зехтер был самым плодовитым композитором в истории музыки. Кроме фуг Зехтеру принадлежит также ряд ораторий, месс и т. п.
Прежде всего, однако, Зехтер известен как педагог, повлиявший на творческое формирование многих выдающихся музыкантов. У Зехтера учились Сигизмунд Тальберг, Франц Лахнер, Анри Вьётан, Густав Ноттебом и Антон Брукнер, с которым Зехнер занимался в 1855—1861 гг. по переписке; Зехнер считал Брукнера своим самым одарённым учеником, и Брукнер позднее сменил его в Венской консерватории.