Родился в 1854 году, в Санкт-Петербурге дворянской семье, образование получил во 2-й харьковской гимназии и на историко-филологическом факультете Харьковского университета; в 1878 году защитил pro venia legendi диссертацию о кн. В. Ф. Одоевском и стал читать в качестве приват-доцента лекции по истории русской литературы; в 1880 году защитил магистерскую диссертацию «О свадебных обрядах, по преимуществу русских», а в 1885 году докторскую «Хлеб в обрядах и песнях».
Состоял ординарным профессором Харьковского университета и членом совета попечителя Харьковского учебного округа. Академия наук несколько раз поручала ему рассмотрение научных работ, представленных на Макарьевскую и Уваровскую премии. В разных изданиях, преимущественно в «Киевской старине», «Этнографическом обозрении», «Сборнике Харьковского историко-филол. общ.», «Русском филологическом вестнике». Сумцов напечатал около 300 исследований, статей и заметок, научных и публицистических.
Был председателем Педагогического отдела Историко-филологического общества при Харьковском университете, стоял во главе комиссии по устройству публичных чтений для женщин; в 1892 г. по его инициативе возник педагогический отдел при Историко-филологическом обществе и начато издание «Трудов» этого отдела; деятельно участвовал в работах издательского комитета Харьковского общества грамотности (составил несколько брошюр для народного чтения); несколько четырехлетий состоял гласным харьковской городской думы. Автор статей по малорусской и югославянской этнографии и словесности в Энциклопедическом словаре Брокгауза и Ефрона, многочисленных сборников украинской народной поэзии, этнографических исследований.
Член-корреспондент Императорской санкт-петербургской академии наук по Отделению русского языка и словесности с 3 декабря 1905 года.