Старший сын действительного тайного советника, камергера и сенатора Фёдора Фёдоровича Вадковского (1764—1806) и Екатерины Ивановны Вадковской (род. 1766) урождённой графини Чернышёвой.
Определён в лейб-гвардии Семёновский полк в 1807 году. В 1812 — подпоручик. Участник войны 1812 года и заграничных походов.В его палатке ночевал поручик Чичерин.
Из воспоминаний Чичерина:
Отличился под Кульмом, приняв командование «государевой ротой» полка.1820 — командир 1-го батальона Семёновского полка.
Недолгое время состоял в масонской ложе (был принят П. М. Сипягиным)
В апреле 1820 года известный своим гуманным отношениям к подчинённым командир лейб-гвардии Семёновского полка генерал-майор Я. А. Потёмкин был смещён. По рекомендации Аракчеева новым командиром стал Г. Е. Шварц с указанием «подтянуть полк». В полку, где были отменены телесные наказания, проповедовалось уважительное отношение к нижестоящим, стала насаждаться палочная дисциплина. С мая по октябрь 1820 года было наказано 44 солдата, они получили в общей сложности 14250 палочных ударов. Шварц, по мнению многих его знавших, очень неуравновешенный человек, оскорблял солдат и офицеров.
В мае 1820 года Вадковский, видя обстановку, сложившуюся в полку, принял решение встретиться с новым полковым командиром «для представления замечаний». Начальник гвардейского штаба Бенкендорф, узнав об этом, вызвал к себе Вадковского и указал на то, что это не принесёт пользы, а лишь навлечёт на полк неприятности, что следует дождаться возвращения Александра I (шефа полка) из-за границы и обратиться лично к нему. Вадковский, как и многие другие офицеры-семёновцы стал искать возможности перейти в другой полк.
Вечером 16 октября 1820 года 1-я рота («государева») 1-го батальона, которым командовал Вадковский, самовольно вышла «на перекличку» и выдвинула требование о смещении Шварца. Посредниками при переговорах между солдатами и командованием выступали капитан 1-ой роты Н. И. Кашкаров и Вадковский (Шварц уклонился от участия в событиях). После безрезультатных переговоров «государева рота» была зведена в Манеж, а потом отправлена в Петропавловскую крепость. Узнав об этом взбунтовались ещё 3 роты первого батальона. Вадковский ходатайствовал перед командованием об освобождении первой роты и получил отказ. Тогда из повиновения вышел весь полк. В 4 часа утра 18 октября около 4 тысяч солдат собралось на полковом дворе. Они потребовали либо освободить 1-ю роту, либо соединить весь полк в крепости. Командование согласилось на второе. После наказания «зачинщиков» из числа солдат и расформирования полка по армии 21 августа 1821 года был издан приказ об аресте Н. И. Кашкарова, И. Ф. Вадковского. Александр I был уверен, что действия солдат Семёновского полка направлялись тайным обществом:
В том же духе велось и следствие. Следственная комиссия под руководством А. Ф. Орлова работала в Витебске. Вадковский на допросах опровергал предположения о подстрекании офицерами солдат к бунту. Он написал о событиях 1820 года «Оправдательную статью», которую передала Александру I сестра Вадковского Софья Фёдоровна. Суд состоялся 15 апреля 1822 года, приговор вынесен 22 апреля. Вадковский, Кашкаров и отставной полковник Ермолаев были приговорены к лишению чинов, имения и смертной казни. Аудиторианский департамент (управление военно-судной частью в русской армии) закончил рассмотрение к августу 1822 года, снизил наказание и передал дело императору Александру, который так и не вынес решения по нему. Лишь в январе 1826 года дело из аудиториата потребовал Николай I. 27 февраля 1827 года Николай приказал отправить Вадковского в том же чине в Кавказский корпус предварительно «выдержав в крепости» два с половиной года. В мае 1827 года Вадковский добился отставки. По докладу генерала Потапова великому князю Константину Вадковский «не переменил своего вредного образа мыслей» и усердия в службе не оказывал. После отставки Вадковский жил в своём имении Петровское Орловской губернии под негласным полицейским надзором.
Жена — Е. А. Вадковская (урождённая Молчанова).
Вадковский опекал своего несовершеннолетнего племянника — сына рано умершего брата Павла.
Сестры Вадковских — Софья Федоровна Вадковская-Безобразова-Тимирязева и Екатерина Федоровна Вадковская-Кривцова активно участвовали в судьбе братьев-декабристов через своих мужей-губернаторов. Они близко дружили с А. С. Пушкиным, В. А. Жуковским. Посаженым отцом на свадьбе Екатерины был историк Н. М. Карамзин. А ее единственная дочь — Софья Николаевна Кривцова стала женой Помпея Николаевича Батюшкова, родного брата поэта Батюшкова.