Андерсон вырос в городе Урбана, штат Иллинойс. Он поступил в Гарвардский Университет, написал там курсовую и дипломную работы — прервавшись во время войны на работу в исследовательской лаборатории ВМС США. Он писал свой диплом под руководством Джона Хасбрука ван Флека.
С 1949 по 1984 год он работал в лабораториях фирмы Белл в Нью-Джерси над большим кругом проблем в физике конденсированных сред. В этот период он открыл концепцию локализации — идею, которая расширила число состояний, которые могут быть локализованы за счёт присутствия дефектов в системе; гамильтониан Андерсона, который описывает электроны в переходном металле; механизм Хиггса для генерирования массы элементарных частиц; а также псевдоспиновый подход в теории сверхпроводимости Бардина — Купера — Шриффера.
С 1967 по 1975 год Андерсон был профессором теоретической физики в Кембриджском университете. В 1977 году он был награждён Нобелевской премией по физике за исследования по электронной структуре магнитных и неупорядоченных структур, которые дали толчок развитию электронных переключателей и устройств памяти в компьютерах. Его коллеги сэр Невилл Фрэнсис Мотт и Джон ван Флек разделили с ним премию. В 1982 г. Андерсон был награждён Национальной медалью науки. В 1984 г. он уволился из лабораторий Белла и является в настоящий момент профессором физики в Принстонском университете.
Среди работ Андерсона есть «Принципы физики твёрдых тел» (1963, ISBN 981-02-3231-4) и «Основные заметки по физике конденсированных сред» (1984, ISBN 0-201-32830-5). Андерсон является сертифицированным мастером первой степени по го.