Родился в 1845 г. в Костромской губернии. В 1854—1860 гг учился в городе Галиче (ныне Костромской области).
Окончил курс на историко-филологическом факультете Санкт-Петербургского университета. Вскоре после того напечатал первую свою работу «Первые славянские монархии на северо-западе» (1872). Защитив магистерскую диссертацию «Никита Акоминат из Хон» (1874), был избран в штатные доценты советом Новороссийского университета и в этом звании ездил для научных занятий за границу (главным образом во Францию и в Италию). В 1879 году защитил докторскую диссертацию «Образование второго болгарского царства», после чего был избран профессором Новороссийского университета. В 1900 году утверждён ординарным академиком Академии наук сверх штата.
По его инициативе возник в Константинополе русский археологический институт, директором которого Успенский состоял с 1894 года. Он же основал при нём ученый печатный орган — «Известия русского археологического института в Константинополе», в котором также помещено несколько его исследований (например, о военном устройстве в Византии, о византийской табели о рангах, о церковных имуществах и т. п.) и отчетов о деятельности института. Из Константинополя Успенский совершил несколько археологических экскурсий, из которых особенно важна по своим результатам поездка в Сирию и Палестину.
С самого начала своей учёной деятельности Успенский специализировался на изучении истории Византии и югославянских стран. Этому предмету была посвящена и его вступительная лекция в университете: «О значении византийских занятий в изучении средневековой истории» («Записки Новороссийского Университета», т. XVI). Во время заграничной командировки внимание его тоже было сосредоточено на византийских и славянских рукописях, о чём свидетельствуют его статьи в «Записках Новороссийского Университета» и «Журнале Министерства народного просвещения» за 1877—1879 гг. В этих же двух изданиях он и впоследствии помещал свои многочисленные исследования и рецензии. Среди них особое внимание обращают на себя работы по истории землевладения (к этому же разряду относится работа его о пронии; см. XXV, 445). Некоторые статьи Успенского посвящены русской истории и восточному вопросу. В 1891—1892 гг. он поместил в «Журнале Министерства народного просвещения» ряд весьма ценных «Очерков по истории византийской образованности», которые вышли и отдельной книгой. Читал ряд рефератов на археологических съездах.
23 марта 1915 года составил докладную записку о Вселенском патриархате и храме Святой Софии, в которой, по завоевании Россией Константинополя, предлагал, чтобы первая литургия была отслужена русскими.