Сын телеграфиста. Вырос в Сантандере, куда в 1924 переехала вся семья. Учился на механика в Промышленной школе, учебу прервала Гражданская война. Впервые опубликовал несколько стихотворений в 1937. В том же году его отец оказался в тюрьме, где в 1939 умер. Сам Хосе был несколько раз арестован в 1939, в конце концов осужден на 12 лет «за организацию помощи политическим заключенным», провел в тюрьме до 1944.
Выйдя на свободу, поселился в Валенсии, где жил до 1946, сменил несколько специальностей и мест работы и написал книгу стихов Земля без нас, ставшую дебютной (опубл.1947). Другая его книга Радость в том же 1947 году получила премию Адонаис. В 1951 книга избранных стихотворений Йерро вышла на французском языке. Жил в Мадриде, работал в издательствах, редактировал литературный журнал.
В 2000 пережил инфаркт, осложнившийся эмфиземой легких: он был заядлым курильщиком.
Йерро не раз выступал в печати вместе с представителями социальной поэзии (Блас де Отеро, Габриэль Селайя), но никогда не был ангажированным автором: его поэзия – это поэзия экзистенциального свидетельства. Его сборники «Книга галлюцинаций» (1964) и «Нью-Йоркская тетрадь» (1998) относятся критикой к числу крупнейших памятников испанской лирики ХХ в.
Литературная премия принца Астурийского (1981). Премия королевы Софии по ибероамериканской поэзии (1995). Премия «Мигель де Сервантес» (1998). Европейская литературная премия Аристейон (1999) и другие награды. Почетный доктор Международного университета Менендеса Пелайо (1995), Туринского университета (2000). Член Испанской Королевской Академии (1999).
Памятники писателю поставлены в Сантандере, г. Сан-Себастиан-де-лос-Рейес и Кабесон-де-ла-Саль. Народному университету Мадрида присвоено имя Хосе Йерро, университетом учреждена Национальная поэтическая премия имени поэта. Он назван приемным сыном Кантабрии.
Йерро никогда не работал дома – писал только в кафе.