Хайош родился 1 февраля 1878 года в Будапеште под именем Арнольд Гуттманн. Он стал заниматься плаванием в тринадцать лет после того, как его отец утонул в Дунае. Позже, он сменил имя на Альфред Хайош, что в переводе с венгерского значит «Моряк». Он это сделал, чтобы помочь своей плавательной карьере.
Хайош выиграл 100-метровую дистанцию на чемпионате Венгрии и Европы в 1895 году, повторив успех в следующем году. Также, он занимался лёгкой атлетикой и футболом. В первом виде спорта среди его достижений были победы на чемпионате страны в беге на 100 м, на 400 м с барьерами и метании диска. В другом спорте, он играл в национальном чемпионате с 1901 по 1903 год.
В 1896 году Хайош участвовал на I летних Олимпийских играх в Афинах. Он соревновался в двух заплывах — вольным стилем на 100 м и 1200 м. Хайош победил в обеих гонках, в первой его результат был 1:22,2, а в другой 18:22,2. Он стал самым молодым победителем игр. Хайош хотел участвовать и в 500-метровом заплыве вольным стилем, но не успел.
Во время проведения игр, Хайош был студентом и занимался архитектурой. Он получил разрешение участвовать в играх, но не сразу, и поэтому первое время руководители учебного заведения были им недовольны.
Получив профессию архитектора, Хайош участвовал в конкурсе искусств на летних Олимпийских играх 1924 в Париже среди архитекторов. Он выиграл, получив серебряную медаль (золотые медали давали только французам).
Хайош спроектировал несколько спортивных зданий в Будапеште.
Хайош был включён в Международный плавательный зал славы и Международный еврейский спортивный зал славы (по национальности, Хайош был евреем).
Младший брат Альфреда Хенрик Хайош (1886—1963) также занимался плаванием и выиграл золото в эстафете 4?250 м вольным стилем на внеочередных Играх 1906 года в Афинах.