Родился в семье пастора. В 18-летнем возрасте ушел из дома. В 1924—1937 жил за рубежом (Франция, Австрия, Нидерланды). Остальную часть жизни провел в Женеве, существовал затворником, сильно пил. Публиковался мало, но много раз переписывал свои вещи, был чрезвычайно авторитетен в узком кругу как своего рода живая легенда, воплощение писательской независимости. Его высоко ценили Макс Фриш и Фридрих Дюрренматт. Некоторая известность пришла к Холю лишь во второй половине 1960-х, после републикации ранней книги «Оттенки и подробности» (1964).
Похоронен в Женеве, на кладбище Королей (здесь же, неподалеку, через несколько лет был похоронен Борхес).
Начинал как поэт. Его основной жанр — записные книжки в духе философской прозы Гёте и немецких романтиков. Главная книга Холя «Заметки, или Преждевременное примирение» (написана в 1934—1936 в Гааге), образец его свободного по композиции, фрагментарно-афористического письма, была опубликована отдельными томами в 1943 и 1954, полным изданием в одном томе вышла в 1981. Из других произведений наиболее известна повесть «Восхождение», над которой Холь работал с 1926 по 1975 и которая не раз становилась основой спектаклей в разных странах мира.