Том Бейкер родился в Ливерпуле в семье Мэри Джейн и Джона Стюарта Бейкера. Бейкер хотел стать монахом. В 15 лет он покинул школу и принял постриг. Он оставался в монастыре в течение шести лет, но покинул его, когда потерял веру. Тогда он пошёл служить в Королевский Армейский Медицинский корпус, где провёл два года (1955—1957). Именно в то время он начал увлекаться актёрским искусством.
Первой женой Бейкера стала Анна Веткрофт, на ней он женился в 1961 году. Они имеют двух сыновей — Дениела и Пирса. Когда они расстались в 1966 году, Бейкер потерял контакт с сыновьями, пока случайно не встретил Пирса в пабе в Новой Зеландии. Это помогло им возобновить отношения.
В декабре 1980 года Бейкер женился во второй раз — в этот раз на Лалле Ворд, с которой он познакомился на съёмочной площадке Доктора Кто (она играла его спутницу Роману). Однако, их брак длился всего 18 месяцев.
В 1986 году он женился в третий раз. Его женой стала Сью Джеррард, которая работала редактором сценария «Доктора Кто». Вместе они переехали в маленький посёлок Ботон Малерб в графстве Кент. Там они жили в домике пастора, и Том иногда принимал участие в хоровом пении. В 2002 году они эмигрировали во Францию. А в ноябре 2006 — вернулись в Англию. Их брак длится до сих пор.
Свою первую роль в кино Том Бейкер получил в 1971 году. Это была роль Распутина в фильме «Николай и Александра». Также он появился в фильме Пьера Паоло Пазолини «Кентерберийские рассказы» по мотивам одноименного сборника Джеффри Чосера.
В 1974 Бейкер перенял роль Доктора от Джона Пертви. На момент назначения Бейкер работал на строительстве, потому что свободных ролей на телевидении не было.
Он быстро нашёл свой собственный стиль игры Доктора. Его эксцентричная манера речи, одежда — особенно длинный шарф — мгновенно сделали его фаворитом среди зрителей. Бейкер играл Доктора семь сезонов подряд, что до сих пор не удалось сделать ни одному другому актёру. Бейкер лично прибавил несколько деталей к образу Четвёртого Доктора. Известный шарф был создан благодаря недоразумению: Джеймс Ейчесон, костюмер, дал вязальщице гораздо больше шерсти, чем нужно было для шарфа, и в свою очередь она использовала всю шерсть, в результате получился смешно длинный шарф. Именно Бейкер предложил не лишаться его, а использовать на съёмках.
Доктор, сыгранный Бейкером, считается наилучшим Доктором за историю сериала. В рейтинге «Лучших Докторов», который составляет Doctor Who Magazine, он лишь дважды уступил первую позицию: впервые в 1990 году Сильвестру Маккою, а во второй раз — в 2006 году Дэвиду Теннанту.
В 1973 году он снялся в роли художника в фильме «Склеп ужаса», а также в роли колдуна Коура в фильме «Золотое путешествие Синдбада». Следующую свою роль он получил в 2000 году — это была роль целителя в фильме «Подземелье драконов». В конце 1990-х годов появилась информация, что Бейкер — один из претендентов на роль Гэндальфа в ленте Питера Джексона «Властелин колец». Однако, по неизвестной причине Бейкер отказался.