Потомок старинной французской фамилии, переселившейся в Россию во время Французской революции, родился в 1804 г.
По окончании курса в училище колонновожатых, начал службу в 1821 г. в Свите Его Величества по квартирмейстерской части. Принимал участие в русско-турецкой войне 1828—1829 годов, с 1829 года состоял при графе Киселёве в Бухаресте, где женился на дочери валахского великого ворника (министра внутренних дел) Иордаки Филиппеско.
В 1830-х года совершил командировку на Кавказ и был в делах с гоцами. В 1836 году произведён в полковники.
В 1840-х годах, служил в Санкт-Петербурге, 5 февраля 1841 года за беспорочную выслугу был награждён орденом св. Георгия 4-й степени (№ 6433 по кавалерскому списку Григоровича—Степанова).
В 1849 году произведён в генерал-майоры, затем был переведён в Оренбург начальником штаба Отдельного Оренбургского корпуса, и на последней должности неоднократно предпринимал походы в Киргизскую степь.
С открытием Крымской кампании, был назначен исправляющим должность начальника штаба Западной армии.
В 1858 г. Фантон-де-Веррайон произведён в генерал-лейтенанты и, вместе с полковником бароном Штакельбергом, по завершении военных действий, участвовал в международной комиссии по разграничению отошедшей по Парижскому миру части Бессарабии. Затем состоял в должности Бессарабского военного губернатора, и в 1874 г. был отчислен по запасным войскам.
Умер 23 ноября 1887 г. в Санкт-Петербурге.