Родился в Гродно в семье потомка вестфальских дворян, генерала российской армии Альфонса Руммеля и шляхтянки Марии Мартинкевич. Окончил Одесский кадетский корпус(1906), Павловское военное училище (1908) в Петербурге,получил степень магистра в Академии искусств. Служил ротмистром в 14-м драгунском Малороссийском полку.
С молодых лет серьёзно занимался конным спортом. Был включён в состав российской команды на Олимпийских играх 1912 в Стокгольме. Участвовал в соревнованиях по преодолению препятствий (конкур) и находился в числе лидеров, но на последнем барьере его конь Зяблик зацепил балку и рухнул, подмяв всадника. Почти теряя сознание от нестерпимой боли, всё же вцепился в уздечку, взобрался на коня и, прижимая руку к груди, направился к финишу. Закончив дистанцию (15 место в индивидуальном зачёте), потерял сознание. С переломом пяти ребер его направили в стокгольмский госпиталь. За мужество был отмечен специальной наградой — золотой медалью, отлитой по приказу короля Швеции Густава V.
Участник Первой мировой войны. С 1919 года служил в польской армии в чине майора 8-го уланского полка, с которым участвовал в советско-польской войне. За отвагу награждён самым почётным польским военным орденом «Virtuti Militari» (серебряный крест). Завершил военную службу в чине подполковника кавалерии.
Участник Олимпийских игр 1924 в Париже (конкур — 11 место в индивидуальном зачёте, 6 — в командном; троеборье — 10 место в индивидуальном зачёте, 7 — в командном). На соревнованиях по троеборью одним из его партнёров по команде был будущий генерал и командующий Армией крайовой Тадеуш Коморовский «Бор». На Олимпийских играх 1928 в Амстердаме завоевал бронзовую медаль в составе польской команды по троеборью (в индивидуальном зачёте — 26 место).
1927 год, ноябрь вместе с лейтенантом Старнавским и капитаном Антаневичем завоевали главный трофей на международных соревнованиях по верховой езде в нью-йоркском «Медисон-сквер-гарден».
Участник многих международных соревнований по конному спорту (Ницца, Рим, Нью-Йорк, Париж, Люцерн, Лондон, Берлин). После ухода в отставку в 1930-е был четырёхкратным медалистом чемпионатов Польши по конкуру («золото» — 1935, 1937, «серебро» — 1938, «бронза» — 1934).
В 1939 году участвовал во Второй мировой войне, находился в плену в концлагерях Дахау и Маутхаузен. После войны находился на организаторской и тренерской работе, подготовил немало отличных конников. Был консультантом по конным вопросам художественных фильмов.
Старший брат Кароля — генерал Юлиуш Руммель, руководитель обороны Варшавы в 1939 году.