Закончил с золотой медалью специальную музыкальную школу при Ленинградской консерватории, затем с отличием — Ленинградскую консерваторию (1986). С 1992 живет в Германии. В настоящее время — сотрудник Школы еврейских исследований в Потсдамском университете. Защитил докторскую диссертацию о «Новой еврейской школе» в академической музыке первой половины XX в. (2004).
Исполняет произведения Эрнеста Блоха, Сергея Прокофьева, Артура Лурье, Иосифа Ахрона, Шостаковича, Родиона Щедрина, Самуила Фейнберга, но главное его открытие — сочинения композиторов, репрессированных при тоталитарных режимах в СССР и Германии (Гидеон Кляйн, Виктор Ульманн, Эрвин Шульхоф, Мечислав Вайнберг, Александр Веприк, Всеволод Задерацкий и др.).
В своих выступлениях зачастую перемежает исполнение произведений рассказом о судьбах их авторов. По мнению директора Центра еврейских исследований Денверского университета Дэвида Шнеера, «как пианист и исследователь, Немцов обладает уникальной возможностью поведать их историю и исполнить их работы. Он совмещает в себе любознательность историка и виртуозность музыканта».
Выступал и записывался с Т.Циммерман, Д.Герингасом, К.Блахером, Д.Ситковецким, Х.Шнейдерман, И.Турбаном, Фоглер-квартетом и др.
Характеризуя исполнение Немцовым и Циммерман музыки с еврейскими корнями, критик журнала «Andante» отмечает, что Немцов «давно посвятил себя розыску и исполнению этого репертуара, и его чувствительный пианизм превосходно соответствует его партнеру по дуэту. В итоге дуэт проникает прямо в эмоциональный центр музыки, донося до слушателя уникальное для нее сочетание меланхолии, стоицизма и радости, подчас выраженное в едином жесте».
Премия Ассоциации немецких музыкальных критиков за диск сонат для скрипки и фортепиано Шостаковича и Вайнберга (2007, вместе с К.Блахером).