Брал уроки музыки и игры на органе в Эрфурте у Иоганна Бернхарда Баха и Иоганна Андреаса Кречмара, а также у других немецких музыкантов. В 1702 году органист в эрфуртской церкви Св. Фомы. Тогда же начал посещать лекции по философии и праву в Эрфуртском универсетете, но оставил эти занятия, решив посвятить себя полностью музыке. В 1703—1707 годах путешествовал по различным городам Германии, знакомился с ведущими музыкантами, брал у них уроки композиции и органа. В 1704 году в Хальберштадте познакомился с Андреасом Веркмейстером, который подарил Вальтеру экземпляр «Плеяд» Барифона, а в дальнейшем переписывался с молодым музыкантом, посылал ему новые сочинения (в том числе Д. Букстехуде). Трактаты Веркмейстера, а также философские труды Роберта Фладда и Афанасия Кирхера оказали значительное влияние на формирование мировоззрения Вальтера. С 1707 года до конца своих дней Вальтер занимал пост органиста церкви Петра и Павла в Веймаре, где познакомился и подружился с И. С. Бахом (в 1712 был крестным отцом старшего сына Вальтера), его дальним родственником по материнской линии. С того же года до 1715 года выполнял обязанности учителя музыкальной композиции наследного герцога Иоганна Эрнста (сына герцога Иоганна Эрнста III Саксен-Веймарского). По неизвестным причинам Вальтер так и не смог занять пост кантора в Веймаре, несмотря на неоднократные (в том числе и после отъезда из Веймара Баха) прошения и умер в бедности.
Вальтер — автор фундаментального (659 сс., с приложением нот, таблиц и схем) справочника «Музыкальный лексикон, или Музыкальная библиотека» (1732), первой немецкой музыкальной энциклопедии в современном смысле этого слова. Тщательно отобрав (с помощью Маттезона) 3000 терминов и 200 персоналий, он расположил их в строго алфавитном порядке. «Музыкальный лексикон» Вальтера до сих пор используется как важнейший источник наших представлений о (главным образом, немецкой) музыке и музыкальной науке XVII — начала XVIII веков.
Среди многочисленных музыкальных сочинений Вальтера преобладает органная музыка для протестантской церкви (особенно хоральные прелюдии), обнаруживающая прямое влияние И. С. Баха.