Из дворян Витебской губернии. Сын военного инженера генерала К. А. Шильдера. Окончил Пажеский корпус в 1860 году, Николаевскую инженерную академию в 1862 году. В 1863 году был назначен адъютантом к Э. И. Тотлебену, в то время товарищу генерал-инспектора по инженерной части.
Полковник (1872). В 1870-е годы состоял для особых поручений при Главном инженерном управлении. С 1877 года вновь служил под руководством Э. И. Тотлебена, принимал участие в Русско-турецкой войне 1877—1878, в частности, в осаде и взятии Плевны. После назначения Тотлебена главнокомандующим состоял при нём для особых поручений. Генерал-майор (1878).
В 1879 году перешёл в гражданскую службу. Был директором Гатчинского Николаевского сиротского института, Гатчинской женской гимназии. В 1879—1886 годах был помощником редактора «Инженерного журнала».
В 1886 году был назначен начальником Николаевской инженерной академии. Генерал-лейтенант (1893).
12 июля 1899 году был назначен директором Публичной библиотеки и оставался в этой должности до смерти. При нём было завершено строительство нового здания — Воротиловского корпуса, открыт новый читальный зал.
Похоронен на Митрофаниевском кладбище.
Основное направление научных исследований Н. К. Шильдера — история России конца XVIII—XIX веков. Писал статьи и публиковал документы в журналах «Русский архив», «Исторический вестник», «Военный сборник» и других, в 1892—1894 годах был редактором журнала «Русская старина». Был автором биографии Александра I в «Русском биографическом словаре». Биография Николая I осталась неоконченной, над ней Шильдер работал последние годы жизни, но успел собрать и обработать лишь материал, охватывающий период от рождения императора до подавления польского восстания 1831 года. Согласно желанию Николая Карловича, высказанному им незадолго до кончины, рукопись была подготовлена к печати редактором «Исторического вестника» Сергеем Николаевичем Шубинским. Говоря о заслугах Шильдера-учёного, критики отмечали, что «работы его написаны увлекательно, основные их достоинства - искусный психологический анализ, тщательная и точная критика пособий и источников, наличие множества новых материалов. Его работы углубляют историческое понимание и открывают доступ новым взглядам.»
С 1900 года — член-корреспондент Академии наук.
В числе публикаций: