Пётр Андреевич родился 21 декабря 1818 года в Нерчинском заводе Нерчинской области. Отец — отставной прапорщик Андрей Кельберг служил в Нерчинском горном округе.
Пётр Андреевич учился в заводском училище, а затем был лекарским учеником при Куматорском госпитале, где обучался под руководством штаб-лекаря и медико-хирурга М. А. Дохтурова. В 1844 году после обучения получил звание лекарского ученика. Два года руководил Куматорским госпиталем до перевода в Иркутск. В Иркутске Кельберг работал медиком солеваренного завода. В 1847 году переведён в Селенгинск на должность медика солеваренного завода.
В Селенгинске Кельберг был домашним врачом и другом декабристов К. П. Торсона, М. А. Бестужева и Н. А. Бестужева. Оказывал медицинскую помощь жителям Селенгинска и окрестных поселений.
Дети Кельберга получили образование у братьев Бестужевых.
Пётр Андреевич Кельберг умер в Селенгинске примерно в 1896 году. Похоронен на кладбище старого Селенгинска вблизи от могил Н. А. Бестужева и К. П. Торсона. В советское время каменная ограда могил декабристов реконструировалась, могила Кельберга была утеряна.
Кельберг был одним из первых исследователей Гусиного озера. Совместно с Н. А. Бестужевым написали краеведческий очерк «Гусиное озеро». Исследовал провал на Байкале, методы народной медицины, пути сообщения в Забайкалье.
После смерти Н. А. Бестужева Пётр Андреевич проводил исследования по: сейсмологии, метеорологии, гидрологии, геологии, фенологии, энтомологии, ботанике, археологии, этнографии, географии. Организовал в Селенгинске простейшие службы инструментальных наблюдений за землетрясениями и климатом. 47 лет проводил сейсмические наблюдения, пользуясь сейсмоскопом собственной конструкции.
В 1884 году крупный купец и сын Н. А. Бестужева — А. Д. Старцев попросил Кельберга провести исследования путей сообщения в Забайкалье для строительства железной дороги. Кельберг исследовал пути через перевал с Хилка на Ингоду, по долинам Хилкосона и Арея до озера Арейского, через Яблоновый хребет к селению Тангинскому, расположенному на притоке Ингоды, речке Танге, и по долине Ингоды до Читы. Кроме того он осмотрел долину реки Хилка и дороги от Хилка к Байкалу.
Результаты экспедиции были опубликованы под названием «Обзор нового более прямого пути от Байкала через Селенгинск на Петровский завод и Читу» в 1884 году в составе доклада А. К. Сиденснера «О железной дороге в Сибири». Обзор был издан вторично в 1886 году в «Трудах Общества для содействия русской промышленности и торговле».
Кельбер был попечителем Староселенгинского Спасского собора. Участвовал в создании Читинского краеведческого музея.
Состоял в обществах:
Известны более 30 работ Кельберга по различным дисциплинам. Среди них:
Статьи Кельбера издавались на немецком языке учёным Адольфом Эрманом в «Архиве научных сведений о России».
Серебряная медаль Общества членов Сибирского Отдела Императорского Русского Географического Общества. Награждён 9 декабря 1864 года за «18-летние метеорологические наблюдения в Селенгинске и многие другие труды».