Гильермо Горостиса Паредес родился 15 февраля 1909 в Сантурсе. Его семья была очень бедной, и Горостиса был вынужден с юных лет работать, чтобы помогать родителям.
Горостиса начал играть в футбол в маленьких басконских командах «Чаварри» и «Сугасарте», затем в 1928 году перешёл в клуб «Аренас», но долго там не задержался, платили мало, а Горостисе были нужны деньги. Горостиса отправляется на пароходе на заработки в Буэнос-Айрес, но не адаптируется к жизни в Аргентине и возвращается в Испанию, где Горостиса переходит в клуб «Расинг Ферроль», в котором проходит военную службу. В первой же игре за «Расинг» Горостиса поражает ворота «Эспаньола», ворота которого защищал легендарный Рикардо Замора, этот гол и дальнейшая игра за «Расинг» проводит к интересу к Горостисе со стороны испанских клубов мадридского «Реала», «Атлетика» и бывшего клуба Горостисы «Аренаса». Близкий друг Горостисы, игрок «Атлелика», Рамун Лафуэнте, уговорил того перейти к нему в команду.
Подписание контракта состоялось в 1929 году. Горостиса выступал в «Атлетике» на протяжении 11 лет, выиграв 4 чемпионата и Кубка Испании, став главным бомбардиром команды и дважды Лучшим бомбардиром чемпионата, её лицом и гордостью. Во время игры за «Атлетик» Горостиса регулярно вызывался в сборную Испании, в которой дебютировал 14 июня 1930 в игре с Чехословакией и провёл 19 матчей, забив 2 мяча.
В 1937 в составе «Эскауди» выступал в европейском турне, в том числе был в турне по СССР. Приехав в Париж, принял приглашение эмиссаров генерала Франко вернуться в Испанию.
В сезоне 1939—1940 Горостиса за 50 000 песет был продан в «Валенсию», с которой два раза выиграл Чемпионат и один раз Кубок Испании.
После «Валенсии» Горостиса выступал за команды «Баракальдо», «Логроньес» и «Хувенсия», в которой завершил карьеру в 1951 году в возрасте 42 лет.
После окончания карьеры, Горостиса попробовал себя на тренерском поприще, но неудачно. Горостиса скончался 23 августа 1966 года, в его честь на стадионе Месталья состоялся матч между «Валенсией» и «Атлетиком», в котором обе команды отдали дань памяти великому игроку.