Нефе родился 5 февраля 1748 года в Хемнице. Музыке обучался в Лейпциге под руководством И. А. Хиллера. Там же изучал право в 1769-1771 годах. С 1776 года был дирижёром оперной труппы Зейлера, вместе с труппой совершил поездки в ряд немецких городов. Также был дирижёром театральных трупп в в Саксонии, Рейнско-Майнской области, Боннском курфюрстском Национальном театре и около 1780 года в труппе Гроссмана в Бонне. Однако везде работа не приносила ему много денег, и ему приходилось жить в нужде.
В 1796 году Нефе обосновался в Дессау, где стал музыкальным директором театральной труппы. Здесь его материальное состояние немного улучшилось. В Бонне Нефе был учителем Людвига ван Бетховена (обучал игре на фортепиано, органе и композиции). Нефе оценил талант Бетховена и оказал важную роль в его дальнейшем музыкальном развитии. Он первым письменно известил о Бетховене (1783).
Нефе скончался в 1798 году в Дессау. Вскоре после его смерти Ф. Рохлицем опубликовал его автобиографию (Лейпциг, 1798-1799).
Нефе активно отстаивал идеи просвещения. Из сочинений Нефе наиболее известны зингшпили, в том числе «Аптека» (Берлин, 1771), «Раёк Амура» (Кёнигсберг, 1772) и др. Сочинял оперы (например, «Адельхайд фон Вельтхайм», Франкфурт-на-Майне, 1780), оперетты, вокальные произведения (оды Клопштока с мелодиями, 1776; «Путеводитель для любителей пения и фортепиано», 1780), пьесы для фортепиано.
Также Нефе принадлежат монодрама «Софонисба» (Лейпциг, 1782), концерт для фортепиано с оркестром (1782), фантазия для чембало (1797), 6 фортепианных сонат с сопровождением скрипки (1776) и т. д.
Переводил на немецкий язык оперные либретто с французского и итальянского. Нефе написал клавирные переложения партитур опер Вольфганга Амадея Моцарта.