Пётр (Peter) Иванович родился 3-го июля 1836 г. в г. Ревеле (ныне Таллин), в очень бедной семье. Его отец, Юхан Кирс (Johan Kirs) (принявший позднее девичью фамилию своей жены — Юргенсон), эстонец, шкипер рыбачьего судна, и мать его Аэта — оба тяжёлым, изнурительным трудом зарабатывали хлеб семье, состоявшей из двух дочерей и трёх сыновей. Вскоре непосильная работа сломила организм отца и преждевременно свела его в могилу. Тогда забота о пропитании семьи целиком легла на вдову, вынужденную поддерживать её подённою работой. Вот в какой гнетущей, мрачной обстановке, окрашенной непрерывной отчаянной борьбой за существование, протекли детские годы П. И. Юргенсона.
Получив образование в Ревеле, в 1850 был послан в Санкт-Петербург, где начал работать в нотопечатне Ф. Т. Стелловского. В 1859 получил место в издательстве Шильдбаха в Москве, а через два года при финансовой поддержке Н. Г. Рубинштейна смог открыть собственное дело, начавшее быстро развиваться. Вскоре Юргенсон смог купить некоторые мелкие издательства и объединить их со своей компанией, и к концу XIX века она стала крупнейшей фирмой подобного типа в России. В 1897 открылся филиал в Лейпциге, затем в других европейских городах.
Получая прибыль за счёт продажи популярной музыки, Юргенсон издавал малоприбыльные полные собрания классиков и менее известных талантов. Юргенсон был первым издателем большинства произведений П. И. Чайковского, под редакцией Чайковского же было выпущено в печать полное собрание духовных сочинений Д. С. Бортнянского. В издательстве Юргенсона также печатались произведения русских авторов того времени и фортепианные сочинения Бетховена, Мендельсона, Шопена, Шумана, оперы Вагнера.
Юргенсон был в таких хороших отношениях с Чайковским, что последний посвятил первому романс «Слеза дрожит». Пётр Ильич останавливался у Петра Ивановича в Колпачном, когда бывал в Москве. Рядом же, в Хохловском переулке, находилось нотопечатня — в 1875 году Палаты Украинцева были переданы Московскому отделению Русского музыкального общества и тогда же появилась типография. Магазин нот и музыкальных инструментов Юргенсона размещался в Москве на Кузнецком Мосту в бывшем доме ресторана «Яр».
С 1862 Юргенсон тесно сотрудничал с московским отделением Русского музыкального общества, и в 1875 году возглавил его. После смерти Юргенсона дело получили в наследство его сыновья — Борис (фактический глава фирмы, после смерти отца) и Григорий. В 1918, после декрета о национализации, фирма была преобразована в Государственное музыкальное издательство (Госмузиздат).