Бумцэнд родился 11 сентября 1881 года в хошуне Эрдэни-вана Тушэту-ханского аймака во Внешней Монголии (ныне сомон Ерее аймака Сэлэнгэ) в семье бедного арата Гончига. Работал пастухом, косарём и караванщиком у зажиточных аратов; в 13 лет самостоятельно выучился монгольскому письму.
Во время Монгольской народной революции отличился при освобождении Кяхты от войск Китайской республики, командуя ротой народного ополчения, и был назначен начальником кяхтинского гарнизона. После занятия революционными войсками Урги участвовал в нескольких партизанских операциях против остававшихся на территории страны белогвардейцев: в боях против остатков Азиатской конной дивизии при монастыре Хухэн-хутухты на Цэнхэрийн-Голе, а также в сентябре 1921 года, когда, организовав народное ополчение Сэцэн-ханского аймака, принял участие в боях при Егузарын-хийде и принял сдачу подразделений А.С. Бакича.
Г. Бумцэнд был избран председателем Президиума Малого государственного хурала в 1940 году. Он поселился в Алтан-Булаке и занимался организацией местной администрации, устранением влияния старой знати и антирелигиозной пропагандой и просвещением. В 1943 году он стал членом Политбюро, а через восемь лет — Председателем Президиума Великого государственного хурала Монгольской народной республики. Фактически эта должность была лишь почётной, а реальная власть в стране находилась в руках Х. Чойбалсана. Г. Бумцэнд оставался Председателем Президиума до своей смерти 23 сентября 1953 года.
За военные и трудовые заслуги перед государством Г. Бумцэнд был дважды награждён монгольским Орденом Красного знамени, Орденом Ленина, а также Орденом Сухэ-Батора.