Родился в семье вокзального носильщика. Рано обнаружил интерес к музыке. Первые уроки Оскару давала старшая сестра.
Отец обучил его игре на тромбоне и пианино, когда ему было около 6 лет. Однако, перенеся туберкулёз в раннем возрасте, Питерсон вынужден был продолжить игру только на фортепиано (врачи запретили играть на духовых инструментах).
В 14 лет стал призером конкурса (устроенного местной радиостанцией) молодых талантов и получил право регулярно выступать в радиошоу.
Дебютировал Оскар Питерсон в 1944 году в канадском джаз-оркестре Джонни Холмса (Johnny Holmes).
Первые записи музыканта вышли в Канаде в середине 40-х годов. И хотя они свидетельствовали о появлении технически безупречного пианиста, канадские любители джаза не отдали в то время должное своему соотечественнику. Однако молодой бизнесмен Норман Гранц, почуяв коммерческие возможности джаза, собирает «сборную команду» джазовых светил, куда в качестве молодого дарования приглашает и Оскара Питерсона.
С 1949 года участвовал в концертах-турне «Джаз в филармонии» по Соединенным Штатам Америки. Вот как описывал в 1949 году дебют Оскара Питерсона в Нью-Йорке журнал «Даун Бит»:
В 1953 году гастролировал по Европе со своим трио, в состав которого с 1951 года входили контрабасист Рэй Браун (Ray Brown) и гитарист Ирвинг Ашби (Ashby Irving). Позднее Ашби сменяет Барни Кессел (Barney Kessel), а его в свою очередь меняет Херб Эллис (Herb Ellis). В 1955 году аккомпанировал Элле Фицджеральд во время ее гастролей по Англии и Шотландии.
Трио с гитарой и контрабасом просуществовало пять лет, до 1958 года. После ухода Херба Эллиса Питерсон делает смелый поворот: меняет гитариста на барабанщика Джина Гамаза (Gene Gamage), лишая себя преимуществ оригинального ансамбля.
В 1959 году Гамаза сменяет Эд Тигпен (Ed Thigpen). В этом же году снялся в французском музыкальном фильме «Les Tricheurs». После этого преподает в джазовой школе Нью-Йорка, участвует в 1-м канадском джаз-фестивале в городе Торонто, выступает на джаз-фестивале в Чикаго. Все 50-е годы по опросам читателей и критиков ведущих джазовых изданий входит в число ведущих джазовых пианистов. Трио Питерсона с Рэем Брауном и Эдом Тигпеном стало самым популярным ансамблем в карьере пианиста.
В начале 60-х годов открыл в Торонто (Канада) Продвинутую школу современной музыки, представил в 1964 году свою композицию Canadian Suite. Ежегодно продолжал гастролировать с концертами в США и Европе. Наиболее яркими из выступлений Питерсона в 60-е годы были его новые совместные выступления с Эллой Фицджеральд.
В 1965 году Эда Тигпена заменяет барабанщик Луис Хэйес (Louis Hayes), а контрабасист Сэм Джонс (Sam Jones) в 1966 году приходит в трио на смену Рэю Брауну. После ухода Луиса Хэйеса в 1967 году в трио приходит Бобби Дахэм (Bobby Durham).
Сотрудничал со многими выдающимися джазменами, в числе которых — Дэйв Брубек, Диззи Гиллеспи, Бен Уэбстер, Луи Армстронг, Стэн Гетц и другие. Записывал дуэты с Каунтом Бэйси.
В последующие годы участниками трио Оскара Питерсона были такие музыканты, как чешский басист Джордж Мраз, шведский гитарист Ульф Вакениус, гитарист Джо Пасс и другие.
Трио Оскара Питерсона объездило весь мир, записало более 150 альбомов. В 1974 трио выступало в СССР (Таллин) с контрабасистом Нильсом-Хеннингом Эрстед-Педерсеном и барабанщиком Джейком Ханной.
В 1993 году перенес инсульт, после которого стал выступать редко и играл только правой рукой.
Его многочисленная дискография включает записи с трио, с Билли Холидей, Бенни Картером, Луи Армстронгом, Эллой Фицджеральд, Роем Элдриджем, Лестером Янгом, Стэном Гетцем, Бадди Де Франко, Коулменом Хокинсом, Modern Jazz Quartet, Кларком Терри, Сонни Ститтом и т. д.
В 2004 году одна из центральных площадей в Торонто была названа его именем.
Скончался от почечной недостаточности 23 декабря 2007 года в городке Миссиссауга близ Торонто. Ему было 82 года.
Пианизм Питерсона отличала «красочность», соединенная с феноменальной техникой исполнения, что подчеркивает его сходство с Артом Тейтумом. В его игре слышалось влияние Эрролла Гарнера, Нэт Кинг Коула, Тедди Уилсона и Джорджа Ширинга (George Shearing). Игру Питерсона отличал мощный драйв и гибкость, позволявщая ему сочетать яркие сольные пассажи с тонкой аккомпанирующей игрой. Полнота звучания рояля, сочность туше, легкость и естественность бега, разнообразие звуков от блюзовых всплесков до оркестрового рокота сделало многие пьесы, исполненные Оскаром Питерсоном, образцами фортепианной джазовой классики.
В основе его творчества — элементы свинга и бибопа, а репертуар составляли, как правило, известные мелодии (записал альбомы с песнями популярных американских композиторов, — Гершвина, Портера, Керна, Арлена, Уоррена и других). По мнению критика Джеймса Коллиера, творчество Оскара Питерсона помогло «сделать джаз более доступным».
Известный историк джаза Скотт Янов так писал о музыканте:
Джазовые этюды Питерсона (Jazz Exercices) стали во всем мире частью начального музыкального образования.