В 1861—1865 гг. учился на историко-филологическом факультете Московского университета под руководством Фёдора Буслаева. По окончании университета преподавал в средних учебных заведениях, в том числе московском художественном училище. В 1870 избран доцентом кафедры истории искусств Новороссийского университета в Одессе; с 1877 — профессор Новороссийского университета. В 1873 защитил магистерскую диссертацию «Памятник Гарпий из Малой Азии и символика греческого искусства»; в 1876 — докторскую диссертацию «История Византийского искусства и иконографии по миниатюрам греческих рукописей».
С 1888 по 1897 — профессор кафедры истории искусств Санкт-Петербургского университета, преподавал также на петербургских Высших Женских курсах. В 1888—1893 — старший хранитель отделения искусства средних веков и эпохи Возрождения Эрмитажа. В 1895 основал (вместе с Фёдором Успенским) Русский археологический институт в Константинополе. В 1901 году был избран член-корреспондентом Сербской Королевской академии наук.
Лекции Кондакова оказали большое влияние на Дмитрия Айналова, Николая Лихачёва, Михаила Ростовцева, Сергея Жебелёва и многих других историков, ахеологов и историков искусства.
С 1917 г. Кондаков жил в Одессе, с 1918 г. в Ялте. В 1920 эмигрировал в Константинополь, затем — в Софию (Болгария). В 1920—1922 — профессор Софийского университета. В 1922 переехал в Прагу (Чехословакия), где преподавал в Карловом университете до своей смерти в 1925. Объединившийся вокруг него кружок молодых ученых, известный впоследствии как Seminarium Kondakovianum, был в 1931 преобразован в Археологический институт имени Кондакова.
В соавторстве с гр. И. И. Толстым: шеститомное издание Русские древности в памятниках искусства, СПб., т. 1-2, 1889; т.3, 1890; т. 4, 1891; т. 5, 1897; т. 6, 1899
Посмертно опубликованы