В 1930 окончил Ленинградскую консерваторию (класс И. С. Томарса).
В 1929—1944 солист Ленинградского театра оперы и балета, в 1944—1957 — Большого театра СССР. Член КПСС с 1940 года.
Нэлепп — один из крупнейших советских оперных певцов. Обладая превосходным красивым, звучным, мягким голосом, Нэлепп создавал глубокие рельефные образы. Обладал яркой индивидуальностью как актер.
Среди оперных партий — Самозванец («Борис Годунов» Мусоргского), Герман («Пиковая дама» Чайковского), Юрий («Чародейка» Чайковского); Сталинская премия первой степени (1942); Садко («Садко» Римского-Корсакова), Собинин («Иван Сусанин» Глинки), Михайло Туча («Псковитянка» Римского-Корсакова), Радамес («Аида» Верди), Хозе («Кармен» Бизе), Флорестан («Фиделио» Бетховена), Еник («Проданная невеста» Сметаны), Каховский («Декабристы» Шапорина) и др. Ряд опер с участием Нэлеппа и романсов в его исполнении выпущен на CD.
Похоронен на Новодевичьем кладбище.