Происходил из дворян Московской губернии.
Окончил 2-й Московский кадетский корпус (1883), Михайловское артиллерийское училище (1886), Михайловскую артиллерийскую академию (1891; по 1-му разряду), Офицерскую артиллерийскую школу.
С 1886 служил в конном взводе 2-й резервной артиллерийской бригады. Подпоручик, с 1888 — поручик, с 1891 — штабс-капитан. С декабря 1891 — помощник штаб-офицера заведующего обучающимися офицерами в полевом отделе Офицерской артиллерийской школы. С 1896 — капитан, с 1899 — подполковник, командир пешей батареи Офицерской артиллерийской школы. В 1903 за отличие произведён в полковники. Участник русско-японской войны 1904—1905, за боевые заслуги награждён орденом св. Станислава II степени с мечами (1905) и Золотым оружием (1908). С 1906 — помощник начальника Офицерской артиллерийской школы. В 1909 за отличие произведён в генерал-майоры. С 1909 — командир 24-й артиллерийской бригады. В 1912 награждён орденом св. Владимира III степени. Соавтор (совместно с В. И. Сарновским) труда «Исторический очерк деятельности полевого отдела офицерской артиллерийской школы стрельбы с 1883 по 1907 гг.» (СПб., 1909).
С 1914 — и.д. инспектора артиллерии 9-го армейского корпуса, в этой должности выступил на фронт Первой мировой войны. В 1914 награждён орденом св. Георгия IV степени. В январе 1915 произведён в генерал-лейтенанты. С января 1915 — инспектор артиллерии 9-го армейского корпуса. Командовал артиллерией во время осады австрийской крепости Перемышль, после взятия крепости был её комендантом. С июня 1915 — в распоряжении главнокомандующего Юго-Западным фронтом. С октября 1915 — командир 40-го армейского корпуса. С апреля 1916 — инспектор артиллерии армий Юго-Западного фронта, успешно руководил действиями артиллерии во время наступления войск фронта (так называемого «Брусиловского прорыва»). С весны 1917 — в отставке. К моменту окончания военной службы был награждён всеми российскими орденами до ордена Белого Орла с мечами включительно.
Известный русский артиллерист, генерал Евгений Захарович Барсуков в своём труде «Артиллерия русской армии (1900—1917 гг.)» характеризовал Дельвига как «выдающегося русского артиллериста», «исключительно выдающегося в то время высокообразованного специалиста техники и тактики артиллерии», отмечал «свойственную ему энергию».
С ноября 1917 по февраль 1918 — инспектор артиллерии Украинского Генерального войскового штаба. В начале 1918 — начальник артиллерии Гайдамацкого коша Слободской Украины. В марте 1918 вернулся в Киев. В период правления гетмана Павла Скоропадского руководил организацией управления артиллерии в армии Украинской державы. С декабря 1918 служил в армии Украинской народной республики (УНР), в 1919 — инспектор артиллерии этой армии.
1 июня 1919 прибыл в Польшу в качестве руководителя делегации Директории УНР для переговоров о перемирии. 21 июня 1919, во время Чортковского наступления Украинской Галицийской армии, подписал договор, по которому в том числе была восстановлена демаркационная линия между Украинской Галицийской армией и польскими войсками (получившая название «линия Дельвига»). Диктатор Западно-Украинской народной республики Евгений Петрушевич не признал условий перемирия, и наступление галицких войск продолжилось (вскоре польские войска перешли в контрнаступление, и результаты предыдущих успехов галичан были утрачены).
В 1919—1921 — начальник военной миссии УНР и полномочный представитель УНР в Румынии. С февраля 1921, одновременно, член Высшей войсковой рады УНР. В 1921 произведён в генерал-полковники армии УНР.
Жил в эмиграции в Румынии. В 1923-1926 гг. член руководящего комитета украинской эмиграции в Румынии. Работал инженером на фабрике братьев Шиль в Бухаресте, затем на заводах "Конкордия" в Кодле. В 1944 г. переехал в Египет.