Родился 16 октября 1820 года в cеле Иваново Шуйского уезда в семье фабрикантов Гарелиных.
В 1844 году получил в наследство ситцевую мануфактуру, с чего и начал свою фабричную деятельность.
В 1878 году отошёл от фабричных дел и сдал фабрику в аренду.
С 1877 года по 1886 год являлся городским головой Иваново-Вознесенска.
При его руководстве началось крупномасштабное благоустройство города и озеленение улиц. В частности, в центре города появились фонари, был разбит парк, ранее носивший имя Гарелина, а ныне называемый Парк Степанова, заложен общественный сад по берегам ручья Кокуй (ныне — бульвар Кокуй) и построен водопровод. Также были открыты: публичная библиотека (ныне — Ивановская центральная городская библиотека имени Я.Гарелина), реальное училище (в настоящее время в нём располагается художественный музей) и женское училище. Активно способствовал проведению в Ивановском крае железной дороги.
Написал ряд краеведческих статей по истории Иваново-Вознесенска, а также книгу «Город Иваново-Вознесенск или бывшее село Иваново и Вознесенский посад», изданную в 1885 году.
Умер 31 октября 1890 года, оставив почти всё своё состояние на благотворительные нужды.
10 января 2011 года одна из улиц города Иваново, носившая название «улица Боевиков» переименована в улицу Якова Гарелина.
30 мая 2011 года в Иванове на площади Революции открыт памятник Якову Гарелину.
В 1861 году выделил 8 тысяч рублей на открытие больницы для мастеровых и рабочих в Вознесенском посаде.
В 1865 году в своём доме организовал публичную библиотеку, в которую передал все свои книги — 1500 книжных томов, которые впоследствии вместе с домом были переданы городу.
В 1886 году пожертвовал в знаменитый московский Румянцевский музей собрание историко-юридических актов, в основном XVII века, относящихся к Суздальской земле (около 3 тыс. экземпляров).
Пожертвовал географическому обществу этнографический альбом, за что удостоился серебряной медали.
В своем завещании оставил городу часть капитала на сумму 3 тыс. руб., чтобы на проценты с него два раза в год беднейшим жителям Иваново-Вознесенска раздавалось мясо. Также выделил 4 тысячи рублей на содержание ночлежного приюта. В собственность города переходили бывшие угодья в черте Иваново-Вознесенска и в сельской местности. По завещанию в городе должно было открыться с преподаванием курса садоводства, огородничества и технического рисования. На устройство и содержание училища выделилось 40 тыс. рублей.
В ноябре 2000 года Ивановской центральной городской библиотеке было присвоено имя Якова Гарелина, книжная коллекция которого легла в основу библиотеки.