Граф Анри де Байе-Латур родился 1 марта 1876 года в Брюсселе, в семье бывшего губернатора провинции Антверпен.
С детства активно занимался спортом, был отличным наездником. Окончил Левенский университет, после чего поступил на дипломатическую службу, выполнял задания правительства Бельгии. Работал в Нидерландах дипломатическим представителем своей страны.
Байе-Латур стал членом Международного олимпийского комитета (МОК) в 1903 году, а в 1906 выступил одним из основателем Бельгийского олимпийского комитета, который затем возглавил. В 1919 году бельгийский город Антверпен получил право на проведение VII Олимпийских игр 1920 года. Байе-Латуру предстояло всего за один год подготовить город к проведению Олимпиады. Задача осложнялась тяжёлыми последствиями только что завершившейся Первой мировой войны. Байе-Латур справился со всеми трудностями, чем повысил свой авторитет в МОК, и игры прошли с успехом.
Байе-Латур был председатель комиссии МОК по выработке правил для организаторов Игр. Представители НОК получили возможность посещать столицу будущих Олимпийских игр и знакомится с условиями пребывания спортсменом и уровнем организации соревнований. Байе-Латур был инициатором издания специального информационного бюллетеня МОК на четырёх языках, назначения олимпийских атташе и создания в каждой стране отдельного офиса НОК.
Анри де Байе-Латур был избран президентом Международного олимпийского комитета в 1925 году, после того, как его основатель барон Пьер де Кубертен стал почётным президентом МОК, фактически отойдя от дел комитета.
Методы управления Байе-Латура кардинально отличались от демократических методов Пьера де Кубертена. Став президентом МОК, Байе-Латур создал олигархическую систему управления, усилив влияние исполнительного комитета. Ни одно серьёзное решение не принималось без одобрения исполкома. При этом Байе-Латур стремился обеспечить наилучшее взаимодействие между членами комитета, гарантировать прозрачность принимаемых решений. Система управления МОК, созданная при Байе-Латуре, действует до настоящего времени.
Среди прочего Байе-Латур отвечал за проведение XI Олимпийских игр 1936 года в гитлеровской Германии. В МОК поступило обращение от Международного комитета за сохранение олимпийского духа, созданного в связи ужесточением нацистского режима в Германии, ростом шовинизма и антисемитизма. Комитет предлагал МОК бойкотировать нацистский режим и перенести Игры из Берлина в Барселону. МОК не поддержал идею бойкота, но потребовал от организаторов Игр неукоснительного соблюдения правил Олимпийской хартии и гарантии равных условий подготовки и участия в Играх для всех спортсменов. Эти требования были озвучены на венской сессии МОК 1933 года, где Анри де Байе-Латур был переизбран президентом ещё на один срок — до 1941 года.
Во время своего президентства Байе-Латур прикладывал много сил для разграничения понятий любительского и профессионального спорта. Он настаивал, что профессионалам не место на Олимпийских играх, что принцип любительства незыблем, а дух «fair-play» — основа олимпийского движения. Так из олимпийской программы были выведены теннис, бейсбол, регби, что стало причиной конфликтов между МОК и различными спортивными федерациями, в частности федерации футбола и лыжного спорта. В свою очередь Байе-Латур ставил вопрос о разграничении полномочий МОК и МФС, добивался полной автономности и независимости Международного олимпийского комитета.
Байе-Латур активно поддерживал идею проведения Зимних Олимпийских игр и участия женщин в соревнованиях. При его президентстве началось утверждение женских дисциплин олимпийской программы: в лёгкой атлетике, гимнастике, плавании, лыжном и конькобежном спорте, фехтовании.
Анри де Байе-Латур приложил много усилий к созданию оптимальных постоянных олимпийской и показательной программ, награды стали едиными для всех Игр и видов спорта, победители культурных конкурсов получали звания «олимпийских чемпионов».
Байе-Латур возглавлял МОК до самой своей смерти, после чего, в 1942 году, на этом посту его сменил вице-президент Зигфрид Эдстрём.
За время президентства графа Анри де Байе-Латура прошли Олимпийские игры 1928 года в Амстердаме, 1932 года в Лос-Анджелесе и 1936 года в Берлине, а также Зимние Олимпийские игры 1928 года в Санкт-Морице, 1932 года в Лейк-Плэсиде и 1936 года в Гармиш-Партенкирхене. Игры 1940 года в Хельсинки и Санкт-Морице не состоялись из-за Второй мировой войны.
К началу Зимних Олимпийских Игр 1936 года в немецком Гармиш-Партенкирхене в деревнях Гармиш и Партенкирхен возле туалетов были вывешены таблички «Собакам и евреям вход воспрещен».
Анри де Байе-Латур при встрече с Гитлером заявил:
— Господин канцлер, таблички с подобными надписями противоречат олимпийским традициям.
В ответ Гитлер заметил:
— Господин президент, когда вас приглашают в гости, вы ведь не учите хозяев, как смотреть за домом, не так ли?
На что Байе-Латур ответил:
— Простите, канцлер, но когда флаг с пятью кольцами вывешивается на стадионе — это уже не Германия. Это Олимпия, и мы в ней хозяева.
Таблички были убраны.