Родился 11 (24) марта 1860 года в селе Дубровичи Рязанского уезда Рязанской губернии, ныне Рязанского района Рязанской области, на Оке.
С 1880 по 1906 год, состоя на военной службе, одновременно сотрудничал в научных обществах и организациях: Рязанской учёной архивной комиссии (1889—1892), Ярославской учёной архивной комиссии (1898—1899), Историческом музее в Москве (с 1903).
Выйдя в отставку устроился на постоянную работу в Исторический музей, где и работал до 1929 года. С ним связано расширение и коренная реэкспозиция археологических зал музея, издание путеводителей по музею (1921—1923). В 1907—1914 годах преподавал археологию в Московском археологическом институте, в 1915—1918 годах — в Народном университете имени Шанявского. С 1918 года профессор Московского университета, позднее также профессор ИФЛИ им. Чернышевского; в обеих вузах возглавлял кафедры археологии. Одновременно являлся активным сотрудником Института истории материальной культуры Академии наук СССР. Оставил множество учеников.
Возглавлял археологическую секцию РАНИОН с момента её организации. Несколько лет руководил Археологическим отделом Главнауки Наркомпроса РСФСР. Состоял почётным и действительным членом многих советских и зарубежных научных обществ и учреждений.
14 января 1943 года получил звание заслуженного деятеля науки, 4 ноября 1944 года, за выдающиеся заслуги в деле подготовки специалистов для культурного строительства, указом Президиума Верховного Совета СССР награждён орденом Ленина.
Умер 2 февраля 1945 года в Москве. Похоронен на Новодевичьем кладбище.
Первым его научным мероприятием было изучение в 1888 году окских дюнных неолитических стоянок.
Многочисленные раскопки Городцова, проводившиеся на значительной территории страны, дали богатый археологический материал, особенно по эпохе бронзы. Открыл серию её культур, установил их периодизацию. Выделил три стадии археологической истории юга СССР: ямная, катакомбная, срубная. Впервые выделил фатьяновскую, панфиловскую и др. культуры лесной полосы. Подвёл археологическую базу под киммерийцев. Обогатил археологию скифов-пахарей (исследования Бельского городища). Внёс значительный вклад в исследование дьяковской и городецкой культур (раскопки Каширского городища, Подболотьевского могильника близ Мурома и др.).
Впервые на территории СССР открыл и исследовал землянки палеолитического человека (Тимоновская стоянка, 1928). Впервые произвёл масштабные раскопки Старой Рязани. Изучал экономические основы древней жизни.
Сочетал археологическую работу с изысканиями в области геологии. Провёл наблюдения четвертичных отложений, в особенности Окских дюн и террас. Занимался исследованием верхнеюрских образований в окрестностях Ярославля, роста и убыли чернозёма в степях. Написал более десятка статей по геологическим вопросам, в том числе «К вопросу об установлении натурального масштаба времени по аллювиальным отложениям в долинах рек Окской системы».
Создал методику полевых исследований археологических памятников, научную классификацию древностей СССР, разработал теорию типологического и сравнительного методов в археологии.
Автор более двухсот научных работ. В том числе: