Начинал учиться музыке у своего отца Роберта Римана (1824—1896), помещика и окружного головы, композитора-любителя, написавшего даже оперу «Бьянка Сиффреди» (1881), у зондерсхаузенского музыканта Генриха Франкенбергера и у Теодора Ратценбергера. Затем изучал историю литературы в Берлине, философию и историю в Тюбингене, а в 1871 г. поступил в Лейпцигскую консерваторию, где его учителями были Карл Райнеке, Эрнст Фридрих Рихтер и Саломон Ядассон. В 1873 г. Риман предложил к защите в Лейпцигском университете диссертацию «О музыкальном слухе» (нем. ?ber das musikalische H?ren), посвящённую физиологическим и психологическим основам музыки, однако она была отклонена (позднее Риман защитил её в Гёттингене). С 1874 г. Риман преподавал в Билефельде, дирижировал местным оркестром; в 1878 г. защитил вторую диссертацию в Лейпциге, посвящённую истории нотной записи, и до 1880 г. преподавал здесь, затем в течение года преподавал и руководил хором в Бромберге, а в 1881—1890 гг. был профессором фортепиано и теории музыки в Гамбургской консерватории. В 1890 г. краткое время преподавал в родном Зондерсхаузене, где его учеником был Макс Регер, затем до 1895 г. работал в Висбадене, где у него недолго занимался Ханс Пфицнер, и наконец с 1895 г. окончательно обосновался в Лейпциге, став в 1901 г. экстраординарным, в 1905 г. ординарным профессором университета, а в 1908 г. возглавил Collegium musicum, в 1914 г. преобразованный в Саксонский государственный научно-исследовательский институт музыковедения (нем. Staatlich s?chsisches Forschungsinstitut f?r Musikwissenschaft).
Риману принадлежит огромное количество музыковедческих сочинений теоретического, научно-популярного и дидактического характера — в частности, серия изданий с общим словом «катехизис» в названии, впервые опубликованная в 1888—1891 гг. («Катехизис истории музыки», «Катехизис музыкальных инструментов», «Катехизис фортепианной игры» и т. п.). Отдельные работы Риман посвятил струнным квартетам и фортепианным сонатам Бетховена и теоретическим воззрениям Брамса. Он также перевёл на немецкий «Теорию современного оркестра» Шарля Мари Видора (1904). Однако наиболее известен Гуго Риман как автор-составитель «Музыкального словаря» (нем. Musik-Lexikon) — одного из самых распространённых во всем мире (и по сей день) словаря музыкальных терминов, впервые изданного в 1882 г. в Лейпциге и неоднократно переиздававшегося при жизни и перерабатывавшегося после его смерти (12-е издание в пяти томах опубликовано в 1959—1975 гг.). Историческую значимость имеют работы Римана по музыкальной акустике. Среди трудов Римана:
Музыкальная теория Римана оказала громадное влияние на различные области музыкознания в XX-XXI веках, вначале на родине учёного и в Европе (в том числе, в России), а с конца XX века и в США. Англоязычные последователи Римана называют себя «новоримановцами» и заявляют о своём научном методе как о «ведущем теоретическом методе наших дней» («leading theoretical approach of our time»).