Вальтер Николаи родился в Брауншвейге в семье капитана прусской армии и дочери крестьянина. В 1893 избрал военное поприще. С 1901 по 1904 учится в Военной академии Генерального штаба в Берлине. Следует также упомянуть его служебные поездки в группе офицеров Генерального штаба. Перед самым назначением на должность начальника разведывательной службы Верховного командования вооруженных сил он совершает эти поездки также и в Россию. Совершенно свободно изъяснялся по-русски. Николаи приходится сталкиваться с ультраконсервативными монархистами, аполитичными и вместе с тем постоянно рассуждающими о политике представителями офицерского корпуса царской России.
С 1906 начинает свою карьеру в рядах сотрудников отдела III B военной разведки кайзеровской Германии, приняв под свое начало разведывательный пункт в Кенигсберге. Ему удается превратить Кенигсбергский разведывательный пункт в главный форпост и рассадник шпионажа против России. В результате, после двух лет службы, в начале 1913 он назначается руководителем разведывательной службы(отдел III B), внесшей немаловажный вклад в раскрытие австрийского шпионского скандального дела Редля. Николаи возглавлял германскую разведывательную службу с 1913 по 1919. И самыми решительными темпами он начинает готовить разведывательную службу к войне.
После окончания Первой мировой войны в звании полковника Николаи выходит в отставку. А с 1920 преемником на его посту становится его бывший заместитель майор Фридрих Гемпп. После окончания военной службы Николаи публикует 2 книги о своей военной карьере и жизненном пути.
В период национал-социализма в Германии работал в составе экспертной комиссии Имперского института по изучению истории новой Германии.
После окончания Второй мировой войны в 1945 советскими органами НКВД Николаи был вывезен из Германии в Москву, где был подвергнут тщательному допросу. Умер 4 мая 1947, находясь в тюремном заключении, в больнице Бутырской тюрьмы г.Москвы. Останки кремированы и погребены на Донском кладбище г.Москвы в братской могиле. В 1999 по решению российских военно-судебных органов Вальтер Николаи был реабилитирован.