Родился в 1837 году в Полтаве в небогатой дворянской семье. В 1857 году окончил Санкт-Петербургский государственный университет со степенью кандидата, что дало ему право получить чин коллежского секретаря (чин X класса).
14 мая 1857 года Пётр Алексеевич становится канцелярским чиновником Санкт-Петербургского губернского правления. Но уже в мае того же года он по собственному прошению был переведён на должность помощника правителя дел Санкт—Петербургской комиссии народного продовольствия.
20 октября 1858 года его переводят на работу в Хозяйственный Департамент министра внутренних дел старшим помощником столоначальника. Став титулярным советником, Петр Алексеевич занимает с 23 ноября 1861 года должность столоначальника сначала временно, а 17 марта 1862 года — уже постоянно.
28 мая 1862 года в здании министерства внутренних дел начался сильный пожар, который способствовал продвижению Бильбасова по службе. Пётр Алексеевич активно участвовал в спасении документов из горевшего здания, а после пожара разобрал и систематизировал спасённые деловые бумаги и документы. За деятельное участие по спасению документов из горящего здания он получил «особенную» и «искреннюю благодарность» министра внутренних дел Валуева, который оказал огромное влияние на продвижение Бильбасова по служебной лестнице.
20 марта 1863 года Бильбасов был назначен старшим помощником предводителя дел Земского отдела министерства внутренних дел и получил 170 рублей премии. 21 августа 1864 года Пётр Алексеевич становится надворным советником. Валуев в тот же день назначает его производителем дел в своем отделе. Работа Бильбасова в Земском отделе была отмечена несколькими знаками отличия.
С 24 августа 1868 года по 23 января 1869 года Бильбасов входил в особую Комиссию для пересмотра действовавшего законодательства по переселению крестьян. За эту работу ему был вручен знак отличия за поземельное устройство государственных крестьян.
В марте 1868 года министр внутренних дел Валуев П. А.. уходит в отставку, его место занимает Тимашев А. Е.. Назначение нового министра означало для Бильбасова «скитания» по российским губерниям. Первым назначением для Петра Алексевича стал пост волынского вице-губернатора с 29 января 1869 года.
Во время своего волынского вице-губернаторства Пётр Алексеевич в 1872 году — за отличие — становится действительным статским советником. У Бильбасова появилась возможность обзавестись родовым имением, что он и сделал 5 марта 1873 года, купив на крайне выгодных условиях имение во Владимиро — Волынском уезде Волынской губернии.
19 апреля 1874 года Бильбасова переводят в Самару на пост вице-губернатора. Пётр Алексеевич прибыл в самый разгар конфликта между самарским губернатором Климовым и губернским земством. В этой борьбе Петр Алексеевич, стараясь сохранить нейтралитет, пытался примирить их между собой, но конфликт не затухал, и министр внутренних дел Тимашев А. Е. был вынужден снять Климова с поста губернатора. 19 мая 1875 года Бильбасов был назначен на его место.
С 30 апреля 1875 года Бильбасов также являлся почетным мировым судьей во |Владимиро—Волынском уезде Волынской губернии.
Совместно с Алабиным П. В. Бильбасов организовал в 1876 году первый в истории Самары юбилей — её двадцатипятилетие как центра губернии. Праздник был организован в Курзале Струковского сада, был фейерверк, народные гуляния и фуршет от купечества.
На период губернаторства Бильбасова в Самарской губернии пришелся пик народнического движения. Благодаря мерам, предпринятым губернатором, деятельность народников была локализована и пресечена. Пётр Алексеевич содействовал организации участия самарцев в русско-турецкой войне 1877—1878 годов и отправке Самарского знамени болгарскому народу.
В 1875 году Самара была присоединена к железнодорожной системе России, а в 1877 году при содействии Бильбасова был построен пассажирский вокзал. Самара стала перспективным транспортным узлом.
12 октября 1878 года Пётр Алексеевич был переведен из Самары Полтавским губернатором. Его именем была названа стипендия в Мужской классической гимназии.