Наследовал отцу в промежутке между 900 и 907 годами. К немалым владениям полученным от отца Герберт II присоединил земли в Вексене и Шампани, и таким образом стал одним из крупнейших феодалов Франкского королевства.
В 922 году Герберт II принял участие в крупном мятеже феодалов против короля Карла Простоватого, которого предательски захватил в 923 году и держал в заключении до самой смерти короля. Пленного короля Герберт II использовал как средство давления на короля Рауля, от которого получил кафедру архиепископства Реймского для своего сына Гуго.
В 926 году захватил Амьен. В 928 году получил графство Ланнуа, где построил крепость. Однако, в 931 году ему пришлось отдать город Лан, а в 938 году — и построенную крепость.
В 931 году перед лицом объединившихся против него короля Рауля и герцога Гуго Великого, Герберт II сблизился с германским королём Генрихом Птицеловом и получил от него военную помощь, но в 935 году подчинился королю Франции.
Позднее несколько раз вмешивался в дела реймского архиепископства, чтобы восстановить своего сына.
После его смерти, последовавшей 23 февраля 943 года, Гуго Великий разделил его огромные владения между его сыновьями, чтобы положить конец могуществу дома Вермандуа.
Жена: (с до 907) Адель Французская, дочь Роберта I, короля Франции от первого брака. Имели 7 детей: