1 июля 1935 года поступил на флот фенрихом. 1 апреля 1937 года произведен в лейтенанты. Служил на тральщиках.
В январе 1941 года переведен в подводный флот. В качестве офицера по боевой подготовке совершил 1 поход на подлодке U-557.
23 октября 1941 года назначен командиром подлодки U-593, на которой совершил 16 походов (проведя в море в общей сложности 338 суток). В первый поход вышел в марте 1942 года. Совершив 3 похода в Атлантику, Кельблинг в октябре 1942 года прошел через Гибралтар в Средиземное море.
Среди потопленных им кораблей британские эскортные миноносцы «Холкомб» (1087 тонн) и «Тайндейл» (1000 тонн) и американский минный тральщик «Скилл» (815 тонн).
18 августа 1943 года награжден Рыцарским крестом Железного креста.
13 декабря 1943 года лодка Кельблинга потоплена глубинными бомбами, сброшенными с американского и британского эсминцев. Весь экипаж был взят в плен.
Всего за время военных действий Кельблинг потопил 14 кораблей и судов общим водоизмещением 51 243 брт и повредил 2 корабля водоизмещением 6478 т.
Содержался в канадском лагере для военнопленных. В сентябре 1947 года освобожден.