Родом из Эстляндии. Учился в Дрезденской Академии Художеств. Прибыв в 1826 году в Петербург, вскоре приобрел известность своими портретами и другими работами.
В 1837 году путешествовал по России для ознакомления с народными типами и бытом. В 1839 году исполнил живописные работы для малой церкви Зимнего дворца, в том числе образ «Тайной Вечери». За исполнение образов для Исаакиевского собора получил звание профессора. Преподавал в Академии Художеств; состоял хранителем картинной галереи Эрмитажа.
С 1865 года — член Совета Академии Художеств.
Похоронен на Смоленском лютеранском кладбище.
Многочисленные произведения Неффа, портреты, образа, изображения красавиц и сцены итальянской и эстляндской народной жизни, рассеяны большей частью по дворцам императорской фамилии, аристократическим домам и разным церквам Петрограда и его окрестностей. Талант Неффа всего ярче сказывался в портретах, преимущественно женских, грациозных по постановке фигур приятных по краскам, хотя не всегда вполне схожих, вследствие стремления автора приукрашать натуру. Прочие его работы, при несомненных достоинствах рисунка, колорита и письма, страдают, за редкими исключениями, холодностью композиции и слабостью или деланностью выражения.
Из них наиболее известны: по религиозной живописи — образа в нижнем ярусе главного иконостаса Исаакиевского собора, воспроизведенные теперь мозаикой (в том числе лучшая из всех религиозных картин Неффа: «Святой Исаакий Далматский»), «Воздвижение Креста» и «Спаситель во гробе» (в столбищах того же храма), «Ангел смерти» и «Ангел молитвы» (собственность Государя Императора), «Ангел Воскресения», «Христос, Богоматерь и 4 евангелиста», в церкви лейб-гвардии Семеновского полка, в Петрограде, «Христос, благословляющий детей» и «Богоматерь», в церкви Академии Художеств, 31 образ иконостаса Храма Спасителя в Москве, «Вознесение Господне», запрестольный образ в церкви имения графа Головина, Рязанской губернии, и иконостас русской церкви в Висбадене; по жанровой живописи — «Купальщица» (1858; в музее Александра III), «Две молодые девушки в гроте» (1859; там же), «Итальянка» (в Третьяковской галерее), «Неаполитанка, сидящая в барке у руля» и «Молодой неаполитанец на скале у моря»; по портретной живописи — портреты императрицы Александры Фёдоровны (в берлинском королевском дворце), великой княгини Марии Николаевны, Екатерины Михайловны и Елены Павловны, баронессы Ливен, баронессы Штакельберг, князя Николая Максимилиановича Лейхтенбергского.