Ральф Мэй родился в семье военнослужащего Фрэнка Мэя; мать, Уиннифред Мосс вышла за него в 1943 году, во время военных действий, когда тот находился в отпуске в Англии. Сын был назван в честь Ральфа Вогана Уильямса; композитора, у которого Фрэнк когда-то работал садовником. Через год после рождения второго сына, Брюса, Фрэнк ушел из семьи: это произошло в 1947 году. Уиннифред пришлось одной, без посторонней помощи воспитывать двоих мальчиков, чье детство, проведённое в Кройдоне, было очень бедным, но судя по воспоминаниям, счастливым. Позже об этом времени Ральф Мактелл рассказал в песне «Barges».
Музыкальные способности мальчик проявил в семилетнем возрасте, когда дед научил его играть на гармонике. По окончании начальной школы и экзаменов 11-plus, Мактелл поступил в среднюю школу Джона Раскина, где учился слабо, хоть и отмечался как способный ученик. Во многом сыграла роль не слишком дружелюбная обстановка: в основном здесь учились дети из богатых семей. Со своими музыкальными пристрастиями юный Мактелл также не вписывался в коллектив: он полюбил музыку скиффл и американский рок-н-ролл. По самоучителю Формби овладев техникой игры на укулеле, он вскоре начал исполнять скиффл-стандарты, вроде «Don’t You Rock Me, Daddy-O», а на второй год пребывания в школе организовал собственный ансамбль. Изначально Ральф Мэй как гитарист находился под влиянием кантри- и блюзовых инструменталистов начала XX века, таких, как Блайнд Блэйк, Роберт Джонсон и Блайнд Вилли Мактелл; именно в честь последнего, по совету одного из друзей, он взял сценический псевдоним McTell. В числе основных литературных влияний музыкант называл впоследствии Джека Керуака и Джона Стейнбека.
Некоторое время Мактелл играл в Лондоне, затем отправился в странстве по южному побережью страны и вскоре оказался в континентальной Европе, где, начав карьеру уличного музыканта, повстречал вскоре девушку по имени Нанна, свою будущую жену; вскоре у них родился сын. Вернувшись на родину, Мактелл начал работать учителем в школе, но продолжил выступать в лондонских фолк-клубах. Первую известность в британской столице он получил, выступая на сцене клуба Les Cousins в Сохо. В 1968 году он подписал контракт с Transatlantic Records и выпустил здесь дебютный альбом Eight Frames a Second. В июле 1969 года он с успехом выступил на Кембриджском фолк-фестивале, а в декабре того же года дал свой первый концерт (в лондонском Hornsey Town Hall) в качестве хедлайнера. В мае 1970 года с аншлагом прошёл концерт Мактелла в Ройал Фестивал Холле, после чего певца пригласили на фестиваль Isle of Wight, где он выступил на одной сцене с Джими Хендриксом и Бобом Диланом.