Родился 16 июля 1923 года в селе Бобрик Первый Любашёвского района Одесской области.
В 1940 году призван в ряды Красной Армии. В 1941 году окончил Одесское артиллерийское училище.
В боях Великой Отечественной войны с июля 1942 года.
В боях на Пулавском плацдарме за Вислой у местечка Новая Мшадла юго-западнее города Пулавы в Польше 14 января 1945 года во время атаки находился в самоходной артиллерийской установке, управляя огнём дивизиона. В разгар боя самоходная артиллерийская установка была подожжена и окружена фашистами. Оказавшись в такой критической ситуации, П.М. Улицкий вызвал огонь своей артиллерии на себя, рискуя погибнуть от своих же снарядов. Выбравшись из горящей машины, увлек за собой в атаку передовые цепи стрелков.
После окончания Великой Отечественной войны окончил Киевский лесохозяйственный институт. Работал начальником управления лесного хозяйства Министерства лесного хозяйства УССР. Жил в Киеве.
Скончался 18 сентября 1996 года, похоронен в Киеве.