Между 8 и 13 апреля 1782 в Стратфорд-Холл, Ли женился на своей дальней родственнице, Матильде Ладвелл Ли (1764—1790), известной как «Божественная Матильда». Матильда была дочерью Филиппа Ладвелла Ли, сквайра, и Элизабет Степто. У Генри и Матильды было трое детей:
13 июня 1793 на плантации Ширли, Ли женился на Анне Хилл Картер (1773—1829). Она была дочерью Чарльза Картера, сквайра, и Энн Батлер Мур. Она была потомком короля Роберта II Шотландского через 2-го ярла Крауфорда. У Ли и Анны было шестеро детей, старший умер в младенчестве в 1796.
В фильме «Патриот» образ полковника Гарри Барвела во многом основывается на личности Генри Ли.