Информация о ранних годах юности Роуза крайне скудна, его официальная биография никогда не публиковалась. Для большинства людей имя Роуза тесно связано с прославленным ботаником из Нью-Йорка Натаниэлем Бриттоном, результаты совместной деятельности с которым прочно ассоциируются с обозначением «Britton & Rose», используемым в названиях ботанических таксонов.
Родился 11 января 1862 года в англ. , Индиана, США. Его отец Джордж Роуз во время Гражданской войны служил у северян и умер в военном лагере в Виксберге (Миссисиппи), когда Джозеф был ещё ребёнком. Его мать Ребекка Роуз растила сына одна. Образование он получил в высшей школе в англ. , Индиана.
Вместе с Натаниэлем Лордом Бриттоном они описали сотни новых родов и видов кактусов и были крупнейшими специалистами по растениям семейств Кактусовые (Cactaceae), Толстянковые (Crassulaceae), Зонтичные (Apiaceae или Umbelliferae) и Амариллисовые (Amaryllidaceae).
Общавшиеся с Роузом коллеги отмечали его невероятную трудоспособность, бескорыстность, скромность, высочайший профессионализм, необыкновенные человеческие качества. Когда Роуз в 1922 году посетил своего давнего европейского друга по переписке Альвина Бергера в его частном гербарии в Генуе (Италия), тот затем оставил об американском коллеге такие воспоминания: «это один из наиболее бескорыстных и мягкосердечных мужчин, которых я встречал в своей жизни» (Cowan & Stafleu, 1981, p. 288).
Умер 4 мая 1928 года года.
Роузом описано огромное количество ботанических таксонов, несколько тысяч.
Совместно с Натаниэлем Лордом Бриттоном ими было описано множество кактусов, было опубликовано несколько десятков новых названий родов только из этого семейства.
В честь Роуза, ставшего ещё при жизни легендарным ботаником, названы несколько родов растений. Однако, в настоящее время эти названия являются синонимами:
Автор более 200 статей и книг по ботанике. Вместе с Натаниэлем Лордом Бриттоном опубликовал монографию о семействе кактусов в четырёх томах «The Cactaceae» (1919—1923), иллюстрированную английской художницей Мэри Эмили Итон (англ. ) и ставшую классикой и стандартом ботанической науки.