Взял себе имя «Джо Уолкотт» в честь легендарного барбадосского боксёра Джо Уолкотта; прозвище «Джерси» (по штату, в котором он родился) было прибавлено, чтобы не путать двух боксёров (к 1930 г., когда Джерси Джо дебютировал на ринге, барбадосский Уолкотт был ещё жив).