В 13 лет переехал из Орла в Москву, для того что бы заниматься в ФШМ. Вместе с ним там занимался Игорь Лебеденко.
Профессиональную карьеру начал в московском «Динамо», под руководством Валерия Газзаева. В сезоне 2000 года на его счету было 7 матчей в основном составе «бело-голубых», 23 игры и 2 гола в турнире Второго дивизиона, где тогда выступал динамовский дубль, а также первый гол на высшем уровне.
Забит он был в матче 1/8 финала Кубка России 2000/01 против «Торпедо». При счете 0:1 на 72-й минуте Немов сравнял счёт, вот только в серии послематчевых пенальти удачливее оказались торпедовцы. Ну а Пётр в свой второй динамовский год отметился голом и в чемпионате страны, где, правда, сыграл лишь в четырёх встречах. Пётр один из 15 игроков, которым удалось забить гол в Высшей лиге до 18 лет. 19 мая 2001 ему было 17 лет 213 дней.
Выходя на поле вместе с Петром Быстровым, Сергеем Яшиным, Дмитрием Половинчуком, Алексеем Медведевым и Спартаком Гогниевым, Немов забил в победном для «Динамо» выездном поединке с «Ротором» (2:1). За дубль он тогда отыграл 16 игр, забив по голу «Локомотиву» и «Соколу», а новый год встретил уже в качестве футболиста другого московского клуба — «Спартака».
Красно-белый период в карьере Немова в итоге так и ограничился одним сезоном 2002. Статистика выступлений Немова за Спартак получилась следующей: 2 игры за главную команду и 24 — за дублирующий состав. Плюс мячи в турнире резервистов, отправленные в ворота «Анжи», ЦСКА и «Уралана».
«Спартак» отдал Немова в аренду «Крыльям Советов», которые потом полностью выкупили трансфер футболиста. Первую игру за «Крылья» Немов провел 15 марта 2003 года.
За четыре сезона на берегах Волги в активе новичка «зелёно-бело-синих» набралось участие в двух играх Кубка УЕФА, 32 поединка в Премьер-лиге, а также 5 голов в 32 играх за дублирующий состав самарского клуба.
Перед сезоном 2007 года Немов перешёл в подмосковный «Сатурн».
1 февраля 2011 года перебрался в казанский «Рубин»