Родился в семье учителя, статского советника. Окончил Тамбовскую мужскую гимназию.
В 1915 году окончил историко-филологический факультет Московского университета. Ученик профессора А. И. Яковлева (1878—1951), был оставлен при кафедре русской истории.
В 1918—1930 работал в Древлехранилище (ныне — Российский государственный архив древних актов), в 1922—1930 — старший научный сотрудник РАНИОН. В 1930—1935 — заведующий научно-библиографическим сектором Всесоюзной библиотеки имени В. И. Ленина, в 1935—1942 — заведующий отделом Музея антропологии Московского университета.
В 1938 присвоена степень кандидата исторических наук без защиты диссертации.
С 1942 работал в Институте истории АН СССР, где был заведующим сектором истории СССР периода феодализма (1950—1951), заместителем директора (1951—1953), заведующим сектором источниковедения (1953—1963). Возглавлял издание сборников «Исторический архив», «Материалы по истории СССР», «Проблемы источниковедения», в которых публиковались исторические источники и исследования по проблемам источниковедения.
С 1943 — доцент, в 1946—1967 — профессор Московского историко-архивного института (МГИАИ). Вначале преподавал на кафедре вспомогательных исторических дисциплин, затем на кафедре истории СССР периода феодализма, которой заведовал в 1947—1949. С 1956 руководил подготовкой аспирантов по кафедре истории СССР досоветского периода и был членом Учёного совета института.
Автор трудов по истории сельского хозяйства и внешней политики России XVII в., источниковедению, архивоведению. Соавтор коллективных трудов «История Москвы», «Очерки истории СССР периода феодализма», «Воссоединение Украины с Россией», «Крестьянская война под руководством Степана Разина», «Документы и материалы революции 1905—1907 гг.».
Свою библиотеку завещал городу Тамбову, где в областной библиотеке им. А. С. Пушкина был создан фонд из более чем двух тысяч ранее принадлежавших ему книг. Похоронен на 23 участке Введенского кладбища в Москве.
Ученик А. А. Новосельского, профессор А. И. Комиссаренко отмечал его большой вклад в изучение истории России XVII века:
Преподаватель Историко-архивного института Н. А. Ковальчук вспоминала: