Хаим родился в Белфасте в семье главного раввина Северной Ирландии Ицхака Айзика Герцога. Начал учёбу в дублинском Уэсли-колледже. В 1936 году отец Хаима был назначен главным раввином Палестины (бывшей на тот момент подмандатной британской территорией), и переехал туда со всей семьёй.
По прибытии в Палестину Хаим вступил в подпольную еврейскую военизированную организацию Хагана. Затем вернулся в Великобританию, где закончил Университетский колледж Лондона, получив степень бакалавра.
По окончании учёбы вступил в британскую армию, и воевал в её составе во время Второй мировой войны, пройдя все основные этапы боёв, включая высадку в Нормандии.
Являлся сотрудником британских спецслужб: руководил разведкой в Северной Германии, принимал участие в освобождении ряда концлагерей. Руководил операцией по розыску и установлению личности рейхсфюререра СС Генриха Гиммлера.
После окончания войны также принимал участие в судебных процессах над нацистскими преступниками. В 1945 вернулся в Палестину и заново вступил в Хагану. Участвовал в создании армии будущего государства, и был среди основателей её разведывательной службы. Участвовал в Войне за Независимость, в том числе в боях за Латрун.
В 1962 году покинул армию и вступил в государственную политику.
Во время Шестидневной войны 1967 года был назначен первым главой военной администрации в Иудее и Самарии.
С 1975 года по 1978 год был израильским послом в ООН. Когда ООН объявила сионизм формой расизма, вышел на трибуну и демонстративно порвал документ с этим решением. Его речь по этому поводу на Генеральной Ассамблее ООН 10 ноября 1975 года включена в антологию лучших речей в истории человечества.
В 1983 году избран 6-м президентом Израиля. Старался не вмешиваться в политику и не пытался выйти за рамки своих полномочий. В 1988 году переизбран на второй срок.
В 1993 году ушёл на пенсию. Умер в 1997 году в Иерусалиме.