Учился в частной школе в Массачусетсе, ходил на еженедельные занятия в художественный музей Рочестера, хотел стать художником. Закончил Гарвард, диплом был посвящен поэзии Одена. Затем учился в Нью-Йоркском и Колумбийском университетах. C 1955 года, получив Фулбрайтовскую стипендию, жил во Франции. Вернувшись 1965 году в США, выступал как художественный критик. Участвовал в поэтических чтениях, организованных Энди Уорхолом. Преподавал словесность в различных колледжах США.
Авангардистская поэзия Эшбери, обычно причисляемого критиками к нью-йоркской школе, сложилась в поле влияний Одена, Стивенса, Пастернака, французских сюрреалистов, которых он много переводил, а также американского художественного авангарда (Дж.Кейдж, Э.Уорхол и др.). Перевел книгу Рембо Озарения.
Оказал сильнейшее влияние на молодую американскую и восточноевропейскую поэзию. Среди многих других, ему вручёны наиболее авторитетные в США Национальная книжная премия и Пулитцеровская премия. Член Американской академии искусств и литературы (1980), канцлер Американской поэтической Академии (1988—1999), поэт-лауреат штата Нью-Йорк (2001—2003), удостоен Боллингенской премии (1985), Ордена искусств и литературы Франции (1993), медали Роберта Фроста (1995), Большой премии Поэтического Биеннале в Брюсселе (1996), Золотой медали поэта Американской поэтической Академии (1997), ордена Почётного легиона (2002) и др. На стихи Эшбери писали музыку А. Копланд, Нед Рорем, Таня Леон и др.