На Играх 1904 в Сент-Луисе Каслмэн участвовал в четырёх дисциплинах. Он занял второе место в беге на 200 м с барьерами, выиграв серебряную медаль. Также он занял четвёртое место в гонке на 110 м с барьерами, шестое в 60 м, и остановился на полуфинале в забеге на 100 м.