После смерти его отца Мэн был захвачен графом Анжу Жоффруа II Мартелом, который фактически стал правителем графства. Жоффруа преследовал мать Герберта, Берту де Блуа, а также епископа Ле-Мана Жерве (Гервасия), которые были вынуждены укрыться при Нормандском дворе. Герберт с сестрой Маргаритой убежал в Нормандию, где нашёл пристанище при дворе герцога Вильгельма.
Поскольку Жоффруа Анжуйский захватил замки Домфрон и Алансон, принадлежавших вассалам Вильгельма, то нормандская армия под руководством герцога вторглась в Мэн. Война продолжалась до смерти Жоффруа в 1060 году.
Сестра Герберта, Маргарита, была обручена со старшим сыном Вильгельма, Робертом Куртгёзом, а сам Герберт обручился с одной из дочерей Вильгельма. Герберт умер в 1062 году, признав своим наследником герцога Вильгельма, что дало тому повод завоевать Мэн.