На Играх 1904 в Сент-Луисе Пассмур входил в состав сборной США. Его команда сначала выиграла у индейцев могавков, но затем проиграла канадской сборной и получила серебряные медали.
Вместе с ним на Играх выступал его брат Джордж Пассмур.