Родился в 1817 году в городке Туси, департамент Йонна, в семье кузнеца. Уже в школьные годы мечтал стать энциклопедистом уровня Дидро. Получил стипендию, позволившую ему обучаться в Версале. В 20 лет, вернувшись в Туси, стал школьным учителем и занимался педагогикой. В 1840 г. отправился в Париж, где слушал бесплатный курс в Сорбонне и других учебных заведениях и активно посещал библиотеки. Занимался лингвистикой и древними языками, историей, философией, механикой и астрономией. В Париже он устроился работать в частную школу-интернат.
В 1850 г. вместе с Огюстеном Буайе он основал издательский дом Librairie Larousse. Издательство быстро развивается и публикует передовые школьные учебники и пособия для учителей. В 1856 оно публикует «Новый словарь французского языка», который впоследствии будет переработан и примет вид Малого Ларусса. Словарь был осужден Церковью и занесен в список запрещенных книг.
Труд жизни Ларусса - Большой универсальный словарь ??? века (фр. Grand Dictionnaire universel du XIXe si?cle). Он выходит в 17 томах (15 основных и 2 дополнительных) с 1866 по 1876 гг. и составляет 22700 страниц.
Пьер Ларусс умер в Париже в 1875 г. и похоронен на кладбище Монпарнас. Его дело продолжил племянник Жюль Олье.
Персональный девиз Пьера Ларусса - «Дать знания всем и обо всём».
Девиз словарей Ларусс - «Я сею при любом ветре» (фр. « Je s?me ? tout vent »).