Ирвин Роуз родился в еврейской семье укладчика паркетных полов Хэрри Ройзе (родом из Одессы) и его жены Эллы Гринвальд. Учился в Университете штата Вашингтон, который закончил в 1948 году с перерывом на службу в армии во время Второй мировой войны. В 1952 году там же закончил диссертацию. Роуз был руководителем группы учёных в Онкологическом центре в Фокс Чейзе (Филадельфия), которая открыла роль убиквитина в клеточной системе деградации белков в протеасомах. В 2004 году он получил Нобелевскую премию по химии за это открытие вместе с Аароном Чехановером и Аврамом Гершко.
В настоящее время почётный профессор в медицинском колледже Университета Калифорнии в Ирвине.
Жена (с 1955 года) — биохимик Зельда Буденстайн Роуз (Zelda Budenstein Rose).