Происходил из дворян Нижегородской губернии, образование получил в Артиллерийском училище, из которого выпущен 1 января 1831 года прапорщиком в полевую пешую артиллерию.
В 1838 году был командирован на Кавказ, где принимал участие в военных действиях против горцев. В 1845 году получил чин полковника.
В 1849 году был в Венгерском походе, командовал батареей в 9-й артиллерийской бригаде.
6 декабря 1853 года произведён в генерал-майоры, во время Крымской войны последовательно командовал 14-й артиллерийской бригадой, артиллерией 2-го резервного корпуса и 5-й артиллерийской дивизией. Сражался на Дунае под Силистрией, при обороне Севастополя был начальником артиллерии Северной стороны, и затем руководил артиллерией на Инкермане, Мекензиевой горе и при Каче. Отличился в сражении при Чёрной речке.
По окончании военных действий Немчинов занимал должность помощника начальника артиллерии Одесского военного округа.
Произведённый 23 апреля 1861 года в генерал-лейтенанты Немчинов был назначен начальником артиллерии Виленского военного округа и в 1863 году принимал участие в подавлении польского восстания. Затем был начальником артиллерии Кавказского военного округа.
11 февраля 1873 года Немчинов был назначен членом Артиллерийского комитета Главного артиллерийского управления. 1 января 1881 года произведён в генералы от артиллерии.
Скончался 29 декабря 1889 года в Санкт-Петербурге, похоронен на кладбище Воскресенского Новодевичьего монастыря.
Среди прочих наград Немчинов имел ордена: