Уроженец Санкт-Петербурга. Происходил из баронского рода шведского происхождения. Сын генерал-лейтенанта Василия Романовича Каульбарса. Брат генерала от инфантерии Н. В. Каульбарса.
Образование получил в Николаевском училище гвардейских юнкеров (1861) и Николаевской Академии Генерального штаба (1868).
В службу вступил 16.06.1861 прапорщиком (16.06.1861) в лейб-гвардии Гатчинский полк. Участник подавления Польского восстания 1863 года. Подпоручик (19.05.1863). Поручик (30.08.1866).
По Генеральному штабу службу проходил в Туркестанском военном округе — старший адъютант штаба войск Семиреченской области
1869 — офицер для поручений при штабе Туркестанского военного округа
1870 — и. д. старшего адъютанта
1871 — старший адъютант штаба округа, подполковник
1872 — полковник
1873 — обер-офицер для поручений при штабе округа
1874 — начальник штаба 8-й кавалерийской дивизии
1875 — прикомандирован к Главному штабу
1879 — командир 1-й бригады 14-й кавалерийской дивизии, генерал-майор
1882 — военный министр Княжества Болгарского
1882 — командир 1-й бригады 1-й кавалерийской дивизии
1883 — командир 15-й кавалерийской дивизии
1891 — генерал-лейтенант
1894 — командир II кавалерийского корпуса
1900 — командир II Сибирского армейского корпуса
1901 — помощник командующего войсками Одесского военного округа, генерал от кавалерии
1904 — командующий войсками Одесского военного округа
1904 — командующий 3-й (октябрь 1904), 2-й Маньчжурской армией (март 1905)
1905 — командующий войсками Одесского военного округа (27.08.1905-23.12.1909). В годы революции 1905—1907 годов Каульбарс поддерживал монархическую деятельность в Одессе, и прославился как один из вождей одесских монархистов.
1909 — член Военного Совета (декабрь 1909)
В Первую мировую войну находился в распоряжении командующего Северо-Западным фронтом (август 1914). Одновременно (с 6 октября 1914 по 21 октября 1915 гг.) являлся заведующим организацией авиационного дела в армиях Северо-Западного фронта. До конца 1915 г. на него фактически было возложено всё руководство авиацией действующей армии.
1915 — уволен с военной службы
1916 — Одесский генерал-губернатор.
После захвата власти большевиками уехал на Юг России. С 15 октября 1918 г. в Добровольческой армии (в Одесском центре; утверждён 2 февраля 1919 г. в резерв армии). С 2 июля 1919 г. в резерве чинов при штабе Главнокомандующего ВСЮР. Эвакуировался в Константинополь. Затем жил в Болгарии и Франции. В Париже работал до конца жизни в конторе Частного Радиотелеграфного общества. Был почетным председателем Союза Русских лётчиков.
Скончался в эмиграции во Франции, в Париже, 25 января 1925 г. (согласно ряду источников — в 1929 г.). Похоронен на кладбище Сент-Женевьев де Буа.
Значительную часть своей службы провел в Туркестанском крае, посвятив немало времени разным географическим работам и исследованиям; так, в 1869 г. первым посетил главный исток р. Сыр-дарьи и обследовал тогда почти неизвестную часть страны, лежащую за оз. Иссык-Кулем; результаты путешествия изложены в монографии «Материалы по географии Тянь-Шаня», за которую автор награждён ИРГО золотою медалью.
В 1870 г. объехал часть русско-китайской границы, причем, обследовал многие новые горные перевалы Тянь-Шаня и г. Хан-Тенгри, величайшую вершину этой части хребта. В 1870-71 г посетил Китай, а в 1872 г., в качестве посла генерал-губ. — Кульджу, для переговоров с её правителем Якуб-беком, причем не только мирные переговоры доведены к благоприятному окончанию, но и пополнены географические данные о пройденном пути.
В 1873 г. Каульбарс принял участие в Хивинском походе и исследовал дельту и старые русла Амударьи, причем удачно нашёл судоходный путь из Аральского моря в реку, по которому и был проведен парох. «Перовский». Окончив эту работу, Каульбарс занялся исследованием Яны-Дарьи, сухого русла Сыр-дарьи. Результаты этих работ изложены в трудах: «Низовья Аму-дарьи» (с атлас.) и «Древнейшие русла Аму-дарьи»; главные выводы автора — Аму-дарья прежде впадала в Каспий, а в Аральское море стала нести свои воды позднее, между этими двумя периодами река впадала в оз. Сары-Камыш, откуда избыток воды стекал в Красноводский зал. по руслу, называемому теперь Узбой; причиною отклонений р. Аму и Сыр автор считал засорение нижнего течения речными отложениями, а также очертания местности, располагающейся террасами. За эти труды Каульбарс награждён ИРГО золотой медалью им. графа Литке. Автор ряда ряда военно-научных работ.