Родился 23 ноября 1802 года, происходил из баронского рода Эстляндской губернии. В военную службу вступил 31 декабря 1820 года поручиком в кавалерию.
В 1828—1829 годах принимал участие в кампании против турок и за отличие был награждён орденом св. Владимира 4-й степени с бантом. В 1831 году он находился в Польше, где сражался с повстанцами, здесь он заработал орден св. Анны 2-й степени и польский знак отличия за военное достоинство (Virtuti Militari) 4-й степени и в 1832 году получил чин подполковника.
В 1836 году Каульбарс был произведён в полковники и 6 декабря 1846 года — в генерал-майоры с назначением командиром 1-й бригады 1-й кавалерийской дивизии. В начале 1857 года он получил в командование 4-ю лёгкую кавалерийскую дивизию, но уже в конце года вышел в отставку.
Скончался в Ревеле 28 августа 1870 года.
Среди прочих наград Каульбарс имел ордена:
Его брат Василий также был генерал-майором и служил по кавалерии. Известные генералы Александр Васильевич Каульбарс и Николай Васильевич Каульбарс приходились Карлу Романовичу племянниками.