В 1959—1972 гг. — мэр Рейкьявика, на этом посту способствовал строительству асфальтированных автодорог и развитию геотермального отопления на весь город. Благодаря этому Хатлгримссон был настолько популярен, что на выборах мэра в 1970 г. получил 99 % голосов. В том же году был избран в альтинг, став первым номером в списке Партии независимости.
В 1971 г. был избран вице-председателем Партии независимости, а в 1973 г. — её председателем, сменив Йоханна Хафстейна, ушедшего в отставку по состоянию здоровья.
В 1974 г. на парламентских выборах ПН одержала внушительную победу, получив 42,5 % голосов и 25 из 60 мест в альтинге.
В 1974—1978 гг. — премьер-министр Исландии в коалиционном кабинете с Прогрессивной партией. На период его премьерства пришёлся конфликт с Великобританией по поводу расширения Исландией территориальных вод для рыболовного промысла.
В 1978 г. на выборах правительственные партии сократили своё представительство в парламенте, и новое правительство было сформировано без участия Партии независимости. После того, как его однопартиец Гуннар Тороддсен, отколовшись от Партии независимости, сформировал правительственную коалицию с левыми партиями с участием трёх однопартийцев, Халлгримссон руководил парламентской оппозицией.
В 1983 г. проиграл выборы лидера партии Торстейнну Пальссону и потерял место в парламенте,
в 1983—1986 гг. — министр иностранных дел в коалиционном кабинете Стейнгримура Херманнссона.
После этого он стал одним из трёх управляющих Центрального банка Исландии и занимал эту должность до своей смерти.