Родился 27 декабря 1785 года (7 января 1786 года по новому стилю) в деревне Симаново ныне Невельского района Псковской области.
Среднее образование получил в Московском благородном университетском пансионе. В 1803 году был зачислен в школу колонновожатых при Депо свиты царя.
В 1805 году был в сражении при Аустерлице. Обратив на себя внимание графа Оппермана, в 1811 году командирован им на работы по расширению крепости в Бобруйске. Затем участвовал в обороне последней во время блокады её польскими войсками в 1812 году.
В 1813 году был переведён в 1-й сапёрный батальон, где и служил до 1818 года, когда, по семейным обстоятельствам, вышел в отставку подполковником; но в 1820 году, по приглашению великого князя Николая Павловича, вновь поступил на службу командиром 2-го пионерного батальона, а в 1826 году Шильдер назначен командующим лейб-гвардии сапёрным батальоном, с которым выступил в турецкий поход в 1828 году.
С прибытием гвардейских сапёров под Варну, Шильдер заболел. Начатая без него постепенная атака крепости шла неудачно. Немедленно по выздоровлении, Шильдер составил свой план атаки и блестяще привёл его в исполнение. С началом компании 1829 года Шильдер под Силистрией с таким успехом руководил постепенной атакой, что она завершилась сдачей крепости.
Польская война в 1831 году застала его исправляющим должность начальника инженеров гвардейского корпуса. В сражении при Остроленке был ранен пулей в ногу, но при штурме Варшавы уже находился на костылях среди самой жестокой свалки в укреплении Воля.
С 1831 по 1854 годы Шильдер, назначенный 31 октября 1831 года генерал-адъютантом, начальником инженеров действующей армии в Царстве Польском, выделялся своей деятельностью по изобретению и испытанию разнообразных приёмов инженерной атаки и обороны. Наиболее замечательны его предложения: трубчатые мины; применение идей Шиллинга к взрывам посредством гальванизма; подводные лодки с шестовыми минами и ракетами; гальванические и гальваноударные подводные мины, разработанные им совместно с академиком Якоби.
Многие изобретения Шильдера значительно опередили современное ему состояние техники, а потому только теперь могут получить надлежащее применение. Тайна подводной лодки Шильдера, испытанной в 1834 г., сохранялась так усердно, что она сама пропала бесследно, и сын Шильдера в семидесятых годах XIX века мог только узнать о ней кое-что со слов П. И. Патрика, плававшего на ней во время опытов, и найти в одном заброшенном архиве кое-какие чертежи. Чертеж первоначальной лодки помещен в книге Мазюкевича: двигателем были гребки вроде гусиных лапок; применение их и винта осталось не выполненным, с лодкой было сделано много опытов довольно удачных, недостаточной оказалась скорость движения. Испытания этой первой в мире цельнометаллической подлодки, включая первый подводный запуск ракет, были осуществлены 29 августа 1834 г. на Неве в 40 верстах выше Санкт-Петербурга. В присутствии Николая I c подводной лодки под командованием самого Шильдера запускались 4-дюймовые зажигательные ракеты, уничтожившие несколько учебных целей — парусных шаланд на якорях.
Замечательна также деятельность Шильдера как инициатора и организатора крепостных манёвров, опытов и других способов практической подготовки инженерного корпуса в мирное время, благодаря которым наши инженеры, с Тотлебеном во главе, прошедшие в большинстве школу Шильдера, заняли потом такое почётное место в истории обороны Севастополя.
Командировка 1854 году в дунайскую армию дала Шильдеру новый случай к ряду отличий: при уничтожении турецкой флотилии у Рущука огнем наших батарей, им построенных и остроумно маскированных анвелопами и флеровыми масками; при переправе наших войск у Браилова; при осаде Силистрии. Начатая князем Горчаковым, против желания главнокомандующего, дунайская кампания 1853—1854 годов ведена была бессвязно и вяло, вопреки инструкциям Николая I, что и отразилось рядом неудач.
Не знавший личных соображений, проникнутый лишь желанием успеха для дела, Шильдер вёл беспощадную борьбу не только с неприятелем, но и с бесчисленными причинами, препятствовавшими благоприятному ходу наших движений на Дунае, особенно при осаде Силистрии. Всегда впереди со своими сапёрами, обходя осадные работы, Шильдер был тяжело ранен осколком гранаты в ногу, и умер 11 июня (23 июня по новому стилю) 1854 года в госпитале в городе Калараш в Румынии (ныне Молдова).
Император Николай I в письме к князю Горчакову почтил память своего любимца словами:
Человек инициативы, с редким мужеством военным и гражданским, неистощимый в средствах для преодоления неожиданно возникающих преград, чуждый мелочности, Шильдер был вполне «рыцарь без страха и упрека» и заслужил название «Баярд русского инженерного корпуса».
Российской империи:
Иностранные: