Й.Главка окончил гимназию в городке Клатовы, затем реальное училище в Праге. С 1847 по 1851 год он изучает в пражском Политехникуме стрительство и инженерные науки, затем — с 1851 по 1854 — архитектуру в венской Академии изящных искусств. С 1855 года он — начальник строительного управления в градостроительной фирме «Франтишек Шебек», в Вене. Надгробный памятник для жены Ф.Шебека становится первым архитектурным проектом молодого зодчего. Начиная с 1856 года он совершает трёхлетнее учебное путешествие по Европе. Главка посещает Францию, Италию, Грецию, Бельгию, Германию и Англию.
После своего возвращения в 1860 Ф.Главка селится в Вене и получает концессию на проведение городского строительства. Вскоре после этого Ф.Шебек передаёт Главке свою фирму. Превосходное выполнение Й.Главкой первого заказа в Вене, строительство Лазаристенкирхе, привлекло к архитектору многочисленную клиентуру. Фирма Й.Главки выполнила в Вене около 140 заказов на проведение строительных работ, в том числе таких, как возведение Академической гимназии, Венской оперы, дворца эрцгерцога Вильгельма, церкви св. Отмара. В 1866 году Й.Главка становится членом венской Академии изящных искусств. С 1898 года он — член художественного совета при министерстве культов и образования.
После того, как в 1869 году архитектор тяжело болел невралгией, он в 1873 году продаёт свою строительную фирму и возвращается в Чехию, где живёт в имении в Лужанах у Престичах, купленном для матери, всего в 3 километрах от родного города. Первоначально передвигаясь в инвалидном кресле, к 1880 году Главка практически полностью выздоравливает и активнно включается в общественную жизнь Чехии. В 1882 году его первая жена умирает от туберкулёза.
В 1880-е годы Й.Главка начинает компанию за создание Чешской академии наук. После её основания в 1891 году, ставшего возможным благодаря крупным финансовым пожеотвованиям Главки и его связям в правительственных кругах Вены, он становится первым президентом Королевской Богемской академии наук, искусств и литературы императора Франца-Иосифа. В 1883 году он становится депутатом австрийского Рейхсрата, в 1886 Главка избирается в чешский местный парламент, в 1891 году переходит из нижней в верхнюю палату Рейхсрата. В политической ориентации он был сторонником Старочешской партии, выступаавшей за равноправие чехов в Австро-Венгрии.
После смерти своей второй жены и не имея наследников, Й.Главка завещал всё своё состояние основанному им благотворительному обществу «Nad?n? Josefa, Marie a Zdenky Hl?vkov?ch», существующему и в наше время. В этот период архитектор проводит обширную меценатскую и общественную деятельность, он спонсирует чешскую науку и искусство. Так, Й.Главка был заказчиком D-Dur-Мессы А.Дворжака, помогал поэтам Я.Врхлицкому и Ю.Зейеру, переводчику У.Шекспира В.Сладеку. Он является основателем Чешской академии наук и пражского Народно-хозяйственного института.
В 2008 году в память о 100-летнем юбилее со дня смерти Й.Главки в Чехии выпустили памятную серебряную монету достоинством в 200 крон. Столетний юбилей Й.Главки отмечался в рамках культурной программы ЮНЕСКО, в его честь также были проведены торжественные мероприятия в Праге и в Черновцах.