Из таврических дворян. Сын статского советника, татарина, много сделавшего для присоединения Крыма к России. На десятом году жизни записан сержантом в л.-гв. Преображенский полк и поступил в Греческий кадетский корпус, где проучился шесть лет. 27 марта 1792 выпущен капитаном Генерального Штаба и направлен в Польшу. При подавлении польского восстания 1794 г. был ранен в правую руку. Затем занимался топосъёмками и составлением карт различных регионов России. По его просьбе в 1801 г. переведён в Троицкий пехотный (29 ноября 1796 — 22 февраля 1811 г. — мушкетёрский) полк, предназначенный для действий на Северном Кавказе. С 6 декабря 1804 – полковник. За штурм Арбского укрепления получил орден Св.Анны 3-й ст. 17 марта 1805 назначен командиром Троицкого мушкётерского полка. За отличие в походе на Большую Кабарду в 1805 г. награждён орденом Св.Владимира 4-й ст. с бантом. 16 января 1806 назначен шефом Тифлисского мушкетёрского полка. 20 апреля 1807 по болезни уволен в отставку. 3 декабря 1809 принят на службу с назначением шефом 22-го егерского полка. Успешные действия отряда Рудзевича на Кавказе в 1810-1811 г. были отмечены 8 февраля 1811 чином генерал-майора и 6 июля 1811 орденом Св.Георгия 3-го кл. № 219
В начале 1812 г. 22-й егерский полк, шефом которого был Рудзевич, в составе 3-й бригады 13-й пехотной дивизии находился в Крыму. Он со своим полком был переброшен из Крыма в Дунайскую армию и участвовал в изгнании неприятеля от Березины до Немана, удостоившись ордена Св.Анны 1-й ст. Будучи в 1813 г. командиром егерской бригады, отличился при осаде Торна, в сражении под Бауценом, во всех делах после перемирия (прусский орден Красного Орла 2-й ст. и 15 сентября 1813 чин генерал-лейтенанта), под Лейпцигом (ордена Св.Александра Невского и шведский Меча 2-й ст.). Кампанию 1814 г. закончил штурмом Монмартра. Награждён 19 марта 1814 орденом Св.Георгия 2-го кл. № 69
и прусским Красного Орла 1-й ст. После войны командовал 13-й пехотной дивизией. 9 апреля 1816 назначен начальником штаба 2-й армии. 22 февраля 1819 назначен командиром 7-го пехотного корпуса. 8 ноября 1826 назначен командиром в 3-й пехотный корпус. 22 августа 1826 удостоен чина генерала от инфантерии. 3-й корпус Рудзевича участвовал в русско-турецкой воине 1828-1829 гг. (алмазные знаки к ордену Св. Александра Невского). Скоропостижно скончался от паралича, чему способствовало известие о смерти раненного под Варной сына. Похоронен в своём крымском имении близ Карасубазара.
Его сын, Николай, был генерал-лейтенантом русской императорской армии и командовал Кавказским линейным казачьим войском. Другой сын, Александр, в 1831 году за отличие против польских мятежников был награждён орденом св. Георгия 4-й степени.