Генри Фицрой родился в монастыре Св. Лаврентия в Блэкморе, графство Эссекс. Его крёстным отцом стал кардинал Томас Уолси, лорд-канцлер Генриха VIII. 7 июня 1525 года Фицрой был посвящён в рыцари ордена Подвязки, а 18 июня его провозгласили пэром, и король пожаловал мальчику титулы герцога Ричмонда и Сомерсета и графа Ноттингема, традиционно предназначавшиеся для принцев крови. В том же году ему было даровано звание лорда-адмирала Англии, Ирландии, Уэльса, Нормандии, Гаскони и Аквитании, а также множество других должностей. Генрих строил планы относительно провозглашения Фицроя королём Ирландии, а присвоение ему почётных титулов было своего рода подготовкой.
Его супруга, Екатерина Арагонская, всерьёз опасалась, что за неимением наследника мужского пола король, в обход своей дочери Марии, сделает преемником бастарда. Вполне вероятно, что Генрих обдумывал такую возможность, но пока титул наследницы, принцессы Уэльской, носила Мария.
Фицрой тем временем жил в замке Шерифф Хаттон (англ. Sheriff Hutton Castle) в Йоркшире. Его отец уделял особое внимание образованию и воспитанию сына. У юного герцога Ричмонда была подобающая принцу многочисленная свита и лучшие учителя. Одним из его наставников был Ричард Крок, филолог из Кембриджа, преподававший ему латынь и древнегреческий. К десяти годам мальчик уже переводил отрывки из сочинений Цезаря и Вергилия. Также в программу были включены уроки пения и игры на вёрджинеле, обучение верховой езде, стрельбе из лука и охоте, которой Фицрой посвящал всё больше времени.
Осенью 1532 года Фицрой сопровождал Генриха на встрече в Кале с королём Франции Франциском I, а после отправился в Париж вместе с поэтом Генри Говардом, графом Сурреем, где оставался до сентября 1533 года. По возвращении в Англию он обвенчался с леди Мэри Говард, дочерью Томаса Говарда, 3-го герцога Норфолка, и его жены, леди Элизабет Стэффорд. Свадьба состоялась 28 ноября 1533 года. Его брак с единственной дочерью Норфолка стал последним шагом в приготовлениях к присвоению ему звания наследника престола. Предполагалось, что вскоре супруги Ричмонд отправятся в Ирландию, но им пришлось остаться в Англии, вероятно, из-за слабого здоровья Фицроя.
В июне 1536 года, после казни Анны Болейн и женитьбы короля на Джейн Сеймур, парламент принял второй Акт о престолонаследии, согласно которому леди Мария, принцесса Елизавета и Генри Фицрой объявлялись незаконнорожденными. Учитывая отсутствие у короля законных наследников, ему было предоставлено право назначить преемника по своему выбору. Многие полагали, что Генрих непременно отдаст предпочтение сыну.
Но 22 июля Фицрой внезапно скончался от скоротечной чахотки. Герцог Норфолк получил приказ организовать скромные похороны без торжественных церемоний и отпевания. Генри Фицрой был погребён в Тетфорде, но вскоре после ликвидации монастырей его тело было перезахоронено в церкви Св. Михаила Архангела в Саффолке, фамильной усыпальнице рода Говардов.