Родился в 1807 году. Образование получил в Пажеском корпусе, откуда был выпущен 13 апреля 1825 года прапорщиком с зачислением в конно-артиллерийскую № 10 роту, а некоторое время спустя был переведён в гвардейскую конную артиллерию.
В 1828—1829 годах Шварц принимал участие в кампании против турок, по возвращении из которой он вошёл в состав войск, назначенных для подавления польского восстания. Обе эти кампании дали возможность Шварцу отличиться. За взятие Варшавы он был награждён орденом св. Анны 4-й степени с надписью «За храбрость» и польским знаком за военное достоинство 4-й степени, с тех пор он быстро повышался в чинах.
В 1839 году Шварц был произведён в полковники и назначен командиром батарейной батареи гвардейской конной артиллерии, а три года спустя назначен командующим лейб-гвардии конной артиллерией. Пожалованный 28 января 1848 года в звание флигель-адъютанта, Шварц в следующем году, 3 апреля, был произведён в генерал-майоры и утвержден командиром лейб-гвардии конной артиллерии.
В 1851 году он был награждён орденом св. Владимира 3-й степени и 26 ноября за беспорочную выслугу 25 лет в офицерских чинах был удостоен ордена св. Георгия 4-й степени (№ 8598 по кавалерскому списку Григоровича—Степанова).
Зачисленный 6 декабря 1852 года в свиту Его Императорского Величества с оставлением в занимаемой должности, Шварц в 1855 году был заведующим артиллерийской частью в Кронштадте. 30 августа 1857 года он был произведён в генерал-лейтенанты и тогда же назначен состоять при генерал-фельдцейхмейстере Его Императорском Высочестве великом князе Михаиле Николаевиче, при котором состоял три года — вплоть до назначения своего в 1860 году начальником артиллерии Отдельного Гвардейского корпуса. Эту должность он занимал всего два года, причем в 1861 году был награждён орденом св. Владимира 2-й степени.
В 1862 году Шварц был назначен на пост начальника артиллерии в Царстве Польском и 6 июля (по данным Г. А. Милорадовича — 6 июня) того же года пожалован в генерал-адъютанты. Занимая эту должность в трудное время второго польского восстания, Шварц своей энергией, опытностью и распорядительностью много способствовал быстрому и успешному подавлению этого восстания. За это он 1864 году был переименован в начальники артиллерии Варшавского военного округа и был награждён орденом Белого Орла.
Назначенный в 1865 году членом Военного Совета и инспектором войск, Шварц возвратился в Санкт-Петербург, и деятельность его с этого времени сосредоточилась в разных комиссиях. В том же году он был награждён орденом св. Александра Невского, а два года спустя был назначен членом комиссии по поводу преступления Каракозова. В том же 1867 году он занял должность начальника Военно-госпитального комитета.
В следующем 1868 году, 20 мая, Шварц был произведён в генералы от артиллерии, с оставлением в звании генерал-адъютанта и во всех занимаемых им должностях и с зачислением по гвардейской конной артиллерии. Вслед за тем он был назначен председателем особой комиссии по изменению устава Санкт-Петербургской медико-хирургической академии.
В 1871 году Шварц был награждён бриллиантовыми знаками к ордену св. Александра Невского.
Преди прочих наград Шварц имел российские ордена св. Станислава 1-й степени (1854 год), св. Анны 1-й степени (1856 год, императорская корона к этому ордену пожалована в 1859 году).
В. М. Шварц скончался в Санкт-Петербурге 27 сентября 1872 года, похоронен на Волковом кладбище (В ряде источников ошибочно указывается другая дата — 7 октября).
По словам П. П. Карцова Владимир Максимович Шварц был человеком правды, не изменявшим своих честных убеждений и правил ни из угождения сильным мира сего, ни из житейских видов и почестей.