Пьер Сегье происходил из знаменитого рода адвокатов из Керси. Сын Жана Сегье (ум. 1596), заместителя парижского прево по гражданским делам, и внук Пьера I Сегье (1504—1580), судьи и магистрата парижского парламента в 1554—1576 годах. Его матерью была Мари Тюдер, считавшаяся одной из самых красивых женщин своего времени. В 29 лет Мари Сегье осталась вдовой и одна воспитала детей. В 1615 году вступила в орден кармелиток. Пьер Сегье был первым учеником в иезуитском коллеже Ла Флеш, ему покровительствовал дядя Антуан Сегье (1552—1624), президент счётной палаты парижского парламента.
С 1621 по 1624 год Сегье был интендантом Гиени, в эту пору он тесно сблизился с губернатором провинции герцогом д’Эперноном. За девять лет пребывания в должности президента счётной палаты (1624—1633), унаследованной от дяди, хорошо зарекомендовал себя перед кардиналом Ришельё. В 1633 году Сегье становится министром, 4 декабря 1634 года — хранителем печати, а 11 декабря 1635 года — канцлером Франции. Находясь в тени Ришельё и Мазарини, сыграл одну из ключевых ролей в утверждении абсолютизма во Франции. Участвовал в громких судебных процессах: маркиза Сен-Мара (1642), Николя Фуке (1661). В 1639 году Ришельё направил Сегье во главе вооружённых отрядов на подавление восстания в Нормандии против повышения габели (соляного налога). Канцлер, наделённый чрезвычайными полномочиями, несмотря на просьбы о милосердии архиепископа Руанского де Арле, учинил жестокую расправу над мятежниками.
Тесно связанный с кардиналом Мазарини, он был одним из тех, кто способствовал в 1643 году передаче регентства Анне Австрийской вопреки завещанию Людовика XIII. При Мазарини становится министром иностранных дел.
Во время Фронды, 27 августа 1648 года, в «День парижских баррикад» только чудом избежал гибели от разъярённой толпы, однако в 1652 году переметнулся на другую сторону и некоторое время поддерживал Гастона Французского и принца Конде. Однако, когда в августе 1652 года король призвал канцлера в парламент, образованный им в Понтуазе, Сегье бежал из Парижа. Был прощён, и, против желания королевы, снова поставлен Мазарини во главе всей судебной системы.
В 1661 году фактически был отстранён от контроля над финансовой администрацией, однако по настоянию короля был обязан присутствовать в Королевском совете финансов при обсуждении особо важных вопросов, в том числе раскладки тальи и утверждения откупов. С 1666 года был председателем комиссии по реорганизации французской полиции и участвовал в разработке уголовного постановления 1670 года.
С 1631 года Сегье покровительствовал художнику Шарлю Лебрену, который благодаря материальной поддержке канцлера изучал изобразительное искусство в Риме (1642—1645). Сегье опекал Лебрена до 1662 года, когда тот стал первым художником короля Людовика XIV. Образованный человек и страстный библиофил, Сегье собрал огромную библиотеку, насчитывавшую 4 тысячи рукописей и 10 тысяч книг. После смерти Ришельё покровительствовал Французской академии, членом которой стал в 1635 году.
Умер 28 января 1672 года. Прах Сегье был торжественно захоронен 18 марта 1672 года в кармелитском монастыре Понтуаза. Оформление церемонии было поручено Шарлю Лебрену.
Сегье был женат на Мадлен Фабри, в этом браке родились две дочери: