Родился в семье землевладельца фон Целевски (von Zelewski), воспитывался приёмными родителями. С 1939 года принял фамилию фон дем Бах, официально отказавшись от фамилии Целевски — как звучащей по-польски.
В декабре 1914 года (в возрасте 15 лет) поступил добровольцем в 176-й пехотный полк. В августе 1915 года награждён Железным крестом 2-й степени. 1 марта 1916 года произведён в лейтенанты (в день его 17-летия). В сентябре 1918 года награждён Железным крестом 1-й степени. Командовал ротой. Получил знак за ранение (отравлен газовой атакой).
После войны служил в пограничной страже, затем в 4-м пехотном полку рейхсвера. В феврале 1924 года лейтенант фон Целевски был уволен с военной службы за участие в политической деятельности.
В феврале 1930 года фон Целевски вступил в НСДАП (билет № 489 101), с 15 февраля 1931 года — в СС (билет № 9 831). 20 июля 1931 года получил звание штурмфюрера СС.
С февраля 1931 года — командир 27-го штандарта СС (Франкфурт-на-Одере). С декабря 1931 — СС-штурмбаннфюрер, с июля 1932 года — депутат рейхстага и начальник округа СС. С сентября 1932 — СС-штандартенфюрер, с октября 1932 — СС-оберфюрер. С декабря 1933 — СС-бригадефюрер, с июля 1934 — СС-группенфюрер.
С мая 1941 года — командующий войсками СС в Центральной России и Белоруссии. С ноября 1941 года — СС-обергруппенфюрер и генерал полиции. Одновременно с октября 1942 года командовал всеми антипартизанскими силами на Востоке (в Польше, Белоруссии и России).
В августе-ноябре 1944 года командовал корпусной боевой группой «Фон дем Бах», подавлявшей восстание поляков в Варшаве. 30 сентября 1944 года награждён Рыцарским крестом. По распоряжению фон дем Баха в конце августа 1944 года был расстрелян командир 29-й гренадерской дивизии при СС (русской № 1) бригадефюрер Каминский, а также начальник штаба той же дивизии оберштурмбаннфюрер Шавякин (бывший капитан Красной Армии), начальник медицинской службы дивизии доктор Забора и шофёр. Было объявлено, что они убиты польскими партизанами.
С ноября 1944 года до начала февраля 1945 года — командующий 14-м армейским корпусом СС, затем 10-м армейским корпусом СС, с февраля 1945 года — корпусом «Одер».
С конца апреля 1945 года в заключении, выступал как свидетель на Нюрнбергском процессе. В своих показаниях дал очень важные сведения, разоблачавшие нацистское мировоззрение, планы убийства миллионов беззащитных людей. И утверждал, что антипартизанские операции на оккупированной территории СССР проводились в основном войсками вермахта, поскольку подразделения СД и полиции были малочисленны. После этих выступлений другими подсудимыми процесса был объявлен предателем, так, Герман Геринг сказал про него:
В марте 1951 года Главным судом по денацификации (Мюнхен) приговорён к 10 годам принудительных работ. Фон дем Бах стал работать ночным сторожем.
В декабре 1958 года вновь арестован властями ФРГ по обвинению в участии в «Ночи длинных ножей» и в 1961 году приговорен к 4 годам тюремного заключения. По истечении в 1962 году срока заключения за уничтожение руководства штурмовых отрядов НСДАП, фон дем Бах был вновь судим властями ФРГ, и приговорён к пожизненному заключению — по обвинению в причастности к убийству шести немецких коммунистов в 1933 году. В 1972 году фон дем Бах умер в тюрьме.