Журнал Rolling Stone поместил его на 48 позицию в списке 100 величайших гитаристов всех времён.
Со стороны отца его родственники — португальцы, выходцы с Мадейры. Его дед поменял фамилию с Pereira на Perry, когда переехал в США. Со стороны матери — итальянцы из Неаполя.
Детство Пэрри прошло в Хопдэйле, штат Массачусетс. Его отец работал бухгалтером, а мать — преподавателем гимнастики, а позднее инструктором по аэробике. Пэрри ходил в подготовительную школу Vermont Academy, школу-интернат на 230 учащихся в Saxtons River, Vermont.
В 1968 он перебрался в городок Санэйпи в Нью-Хэмпшире и поселился на родительской даче, играя на гитаре и подрабатывая мытьём посуды в клубе The Anchorage. Позже с бас-гитаристом Томом Хамильтоном они организовали блюз-трио Pipe Dream. В течение четырёх лет они играли в группах Pipedream, Plastic Glass и The Jam Band. The Jam Band распалась в 1970 году. К тому времени распалась группа, в которой выступал Стивен Тайлер.
В 1971 состав группы, получившей новое название Aerosmith, дополнили гитарист Рэй Тобано (вскоре заменённый Брэдом Уитфордом) и барабанщик Джо Крамер. Aerosmith регулярно выступали в кафе, колледжах, школах и барах, имея по 30 долларов за вечер.
К концу 1972 в поисках работы они добрались до Нью-Йорка и непосильным трудом заслужили ангажемент в клубе-ресторане Max’s Kansas City, где их и открыл для себя исполнительный директор CBS Клайв Дэвис.