Родился в Витебске, в дворянской семье; отец его был преподавателем гимназии. По документам числился немцем, однако его родители имели шведские корни. Семья жила бедно, Пётр с 13 лет начал подрабатывать репетиторством.
Поступил на военную службу. Окончил Киевское юнкерское училище с отличием. В 1892 году поступил в Михайловское артиллерийское училище, которое окончил в 1894 году с золотой медалью. Поступил в Михайловскую артиллерийскую академию, выпущен в 1903 году в чине штабс-капитана и был оставлен в академии преподавателем. Автор многочисленных научных трудов, теоретических разработок и практических рекомендаций. Первым в мире сформулировал теоретические основы рассеивания дистанционных разрывов. В конце 1914 — начале 1915 годов П.А. Гельвих первым в России создал и испытал два образца авиационных безоткатных пушек. Их планировалось установить на самолёт Илья Муромец, но командование не решилось на такой эксперимент.
В феврале 1918 года Артиллерийская академия вошла в состав Красной Армии. П. А. Гельвих тогда же добровольно вступил в РККА и остался в академии на преподавательской работе. Академия многократно реорганизовывалась, но Гельвих оставался преподавателем в академиях-преемниках (Военно-техническая академия РККА, Артиллерийская академия имени Ф. Э. Дзержинского). В 1919 году Петроградское отделение ВЧК задержало Гельвиха в качестве заложника, однако вскоре он был освобождён.
Один из воспитанников П. А. Гельвиха — В. Г. Грабин впоследствии вспоминал:
В 1930 году был арестован Особым отделом ЛВО по подозрению в участии в антисоветской офицерской организации, но вскоре был освобождён.
В период массовых репрессий в РККА в 1938 году был арестован УНКВД по Ленинградской области. В марте 1939 года был освобождён и восстановлен в РККА. Будучи начальником кафедры стрельбы Артиллерийской академии имени Ф. Э. Дзержинского, П. А. Гельвих проводил научные исследования, писал учебники и учебные пособия. В 1941 году П. А. Гельвих был удостоен Сталинской премии за большие заслуги в научных исследованиях и научные труды в области теории вероятностей и теории стрельбы.
27 января 1944 года П.А. Гельвих был вновь арестован.
В лагере П.А. Гельвих, несмотря на свой возраст, регулярно делал утреннюю зарядку. Он продолжал высчитывать формулы и не мог спать от невозможности их записать. С большим трудом он достал тетрадь и карандаш, но тетрадь надзиратели отобрали и сожгли. П.А. Гельвих бережно хранил номер «Известий» от 14 марта 1941 года с постановлением о присуждении ему Сталинской премии.
23 июля 1953 года дело П.А. Гельвиха было пересмотрено. Он был полностью реабилитирован, восстановлен во всех правах.
7 декабря 1953 года в Артиллерийской академии было проведено торжественное собрание в честь восьмидесятилетия со дня рождения и пятидесятилетия творческой деятельности Петра Августовича Гельвиха. На нем он высказался о своей непоколебимой преданности Родине и любви к Советской армии и академии.
Умер в Ленинграде в 1958 году. Похоронен в Москве на Введенском кладбище.
и многие другие