На Играх 1904 в Сент-Луисе Янг соревновался только полусреднем весе до 65,8 кг. Выиграв встречи у Джека Игена и Гарри Спэнджера, он стал чемпионом турнира и получил золотую медаль.