Чарльз Брэндон женился на Кэтрин Уиллоуби осенью 1533 года, вскоре после смерти своей предыдущей жены, Марии Тюдор, сестры короля Генриха VIII. От этого брака остались дочери — Фрэнсис и Элеонора — и сын Генри, граф Линкольн, который умер в начале 1534 года. 18 сентября 1535 года Кэтрин родила Генри, а ещё через два года — Чарльза.
Крёстным отцом Генри стал король Генрих VIII. Первое время мальчики воспитывались вместе с Эдуардом, принцем Уэльским. После смерти отца в 1545 году Генри Брэндон унаследовал титул герцога Саффолка, и в мае 1546 года опекунство над ним было поручено его матери, Кэтрин Уиллоуби. Оба брата присутствовали на коронации Эдуарда 20 февраля 1547 года (Генри нёс державу) и были посвящены в рыцари Бани. После Генри остался при дворе, а Чарльз вместе с матерью вернулся в Гримсторп, поместье семьи Уиллоуби.
В мае 1550 года Эдуард Сеймур, 1-й герцог Сомерсет, намеревался начать переговоры о помолвке своей старшей дочери Анны Сеймур с герцогом Саффолком, однако Кэтрин Уиллоуби отклонила это предложение на том основании, что она не может заставить своего сына вступить в брак без любви. Сомерсет не поддержал её идею предоставить юной паре самостоятельно решить, желают ли они этого союза, и через год Анна Сеймур была выдана замуж за старшего сына Джона Дадли, 1-го герцога Нортумберленда.
С осени 1549 года Генри и его младший брат Чарльз числились студентами Сент-Джон Колледжа в Кембридже. Выбор учебного заведения был неслучаен: в Сент-Джон Колледже в своё время получили образование Уильям Сесил, Роджер Эшам и другие сторонники протестантских реформ. Наставником братьев Брэндонов стал доктор Томас Уилсон.
Оба брата скончались во время эпидемии потницы летом 1551 года в деревне Бакден (англ. Buckden) неподалёку от Хантингдона (англ. Huntingdon), где они укрылись в надежде избежать заражения. Сначала умер Генри, а примерно через час — Чарльз. Братья были похоронены в Бакдене.
Миниатюра, изображающая Генри Брэндона в возрасте около пяти лет, была написана художником Гансом Гольбейном в 1541 году. Предполагается, что миниатюрный портрет Чарльза (в возрасте трёх лет) был нарисован Гольбейном тогда же. Надпись на портрете, указывающая дату рождения Генри, не совсем правильна — он родился 18 сентября.