Джо Дэвис начал своё восхождение к вершинам бильярда в 13 лет. Тогда он победил на местном чемпионате среди любителей. Дэвис продолжал прогрессировать и, в конце концов, получил статус профессионала в год своего совершеннолетия.
Джо стал известен задолго до его чемпионства в снукере. Уже в 1922 он в возрасте двадцати одного года успел побывать на первенстве мира по бильярду, но уступил Тому Ньюмену. Потенциал англичанина чувствовался и в этой игре, поэтому вполне закономерной стала победа Дэвиса на ЧМ-1928. Его таланта в английском бильярде было меньше, чем в том же снукере, однако это не помешало Джо завоевать в общем счёте четыре титула чемпиона. Дэвис мог бы выиграть больше, но его главной целью было чемпионство именно в снукере, а не в английском бильярде. И хотя Джо ещё дважды побывал в финалах чемпионата, в обоих случаях он уступил игроку из Австралии Уолтеру Линдруму. А в 1934 он принял окончательное решение и ушёл за новыми наградами в другой вид спорта.
Джо Дэвис всерьёз заинтересовался снукером в 1926 году, хотя поигрывал в эту игру и прежде. Тогда он вместе со своим приятелем Биллом Камкином разработал предложение по проведению профессионального чемпионата мира. Их идею вскоре приняла Ассоциация бильярда и Совет Клуба Контроля (BA&CC), и уже в ноябре начался главный турнир года. Из десяти игроков Джо снова стал лучшим. На пути к первой крупной виктории англичанин победил Джо Брэди, 10:5, Альберта Коупа, 16:7, и Тома Денниса, 20:11. Эта победа стала вполне заслуженной, поскольку превосходство Дэвиса над соперниками было очевидным. Призовые победителю составили ? 6.10, а кубок чемпиона купил за свои деньги сам Джо. Такие скромные призовые объяснялись отсутствием спонсоров в то время. Но, несмотря на это, Дэвис продолжал играть и продвигать снукер вперёд.
На следующий год англичанин успешно защитил свой титул, без проблем победив Фреда Лоуренса, 16:13. Кроме того, в том году также ему удалось совершить историческое событие — сделать первую серию свыше ста очков. На трёх последующих первенствах мира Джо также не ощущал особого сопротивления со стороны своего оппонента. Раз за разом он выигрывал у Тома Денниса, причём выигрывал с большим отрывом. В 1932 году в финал чемпионата неожиданно вышел новозеландец Кларк Макконэки, однако и он не стал помехой для Дэвиса. Джо победил, 30:19.
Тревожным колокольчиком для непобедимого англичанина стал финал восьмого по счёту первенства мира. Тогда он вновь встретился с Ньюменом и вновь оказался на грани поражения, но вырвал победу. Джо выдержал первое серьёзное испытание, а спустя год сделал и первый официально зарегистрированный сенчури на ЧМ — 110 очков.
Однако этот рекорд не продержался и года — на чемпионате мира 1937 года Дэвис сделал сенчури в 137 очков. Тем не менее, сам выигрыш дался ему с трудом: в игре до тридцати двух побед он выиграл с преимуществом в три партии. А через год, на турнире Gold Cup Джо повысил свою планку ещё на одно очко — теперь высшая серия составляла 138.
К 1940 году Дэвис завоевал тринадцать главных титулов. Это число чуть не стало роковым: Джо лишь в решающей партии сломил сопротивление своего же младшего брата Фреда — 37:36. Это был первый финал ЧМ, закончившийся решающей партией. До круглой цифры оставался всего-то один успешный матч, но тут началась война и турнир на время отменили. Долгожданный выигрыш Дэвис заполучил лишь через шесть лет, победив в финале австралийца Хорэса Линдрума, 78:67. После того чемпионата Джо Дэвис решил сняться с турнира. Причина этого решения до сих пор остаётся неразгаданной, хотя некоторые считают, что он побоялся потерять статус непобедимого, 15-тикратного чемпиона мира. Но англичанин продолжил свою карьеру и в 1955 году сделал невозможное для того снукера — сделал максимальный брейк, хотя этому достижению предшествовал ещё один сенчури в 146, который Дэвис сделал в 1950-м. Несмотря на свой преклонный возраст, Дэвис-старший продолжал устанавливать новые рекорды. Так, в 1962 году он стал первым, кто сделал сотенный брейк, показанный по телевидению. Это событие произошло в показательном матче против Джона Пульмана.
В 1963-м Джо был награждён орденом Британской Империи (OBE — Officer of the British Empire). Ещё через год анличанин принял решение уйти из профессионального снукера.
Он ушёл в возрасте 62 лет. За свою карьеру Дэвис сделал около семисот сенчури (с учётом неофициальных матчей), из них три превышают 140 очков. Он завоевал пятнадцать титулов чемпиона мира подряд — этот рекорд не побит до сих пор. Да, тогда была не самая жёсткая конкуренция. Сама по себе система проведения чемпионата мира была такова, что предыдущий победитель автоматически выходил в финал. Значит, Джо было легче сохранять своё звание. Но именно Дэвис развивал и совершенствовал снукер на протяжении многих десятилетий. Он по праву считается непобедимым чемпионом — в то время он действительно был на голову лучше всех. Единственным реальным соперником для англичанина был его младший брат Фред Дэвис. Но даже он не сумел отобрать у Джо титул чемпиона.
Умер великий игрок в июле 1978 года, спустя всего два месяца после триумфа Дэвиса-младшего на ЧМ.