На Играх 1904 в Сент-Луисе Гилмор соревновался только в полулёгком весе до 56,7 кг.. Он проиграл в полуфинале Фрэнку Хеллеру, но так как в соревновании проняло участие только три боксёра, Гилмор получил бронзовую медаль.
После этого, Гилмор стал профессиональным боксёром, и с 27 марта 1906 года по 12 сентября 1916 года он провёл 16 матчей. 7 из них он выиграл, 6 проиграл и три провёл вничью.