Отец – историк искусства и художественный критик Альбер Франкастель, мать – дочь бельгийского художника Феликса тер Линдена. В детстве перенес полиомиелит, сделавший его пожизненным инвалидом. Закончил Сорбонну по факультету классических языков и литератур.
Вырос в Версальском дворце, где трудился отец, здесь же с 1925 работал сам над диссертацией о скульптуре Версаля. С 1930, защитив диссертацию, становится директором Французского института в Варшаве, читает лекции в Варшавском университете. С 1936 преподавал в Страсбургском университете. Участвовал в Сопротивлении. После войны по приглашению Люсьена Февра занял в 1948 пост профессора на созданной специально для него кафедре социологии искусства в Практической школе высших исследований в Париже.
Развивал идеи Дюркгейма о коллективных представлениях и его исследования символических классификаций, соединяя их с историческим подходом школы Анналов и предвосхищая позднейшие разработки по социологии пространства и других символических форм, истории ментальностей и сферы воображаемого. Ученого отличает широкий исторический кругозор, в сферу его профессиональных изысканий входит европейское искусство от эпохи Средневековья и Возрождения до импрессионизма, кубизма и беспредметной живописи. Его интересовали отношения между искусством и технологией, искусством и идеологией, искусством и публикой.
Франкастель – один из наиболее авторитетных социальных историков и социологов искусства. Его книги неоднократно переиздавались при жизни и републикуются до нынешнего дня, они переведены на японский и многие европейские языки. Лауреат премии Коллеж де Франс (1957). В 1963 ему был присужден Орден Почётного легиона, но учёный от него отказался.
С 2004 в университете Париж-Нантерр действует Центр междиспиплинарных исследований современного искусства имени Пьера Франкастеля, он публикует свои «Тетради».