Занимался исследованием вопроса о реконструкции Первого храма. Участвовал а раскопках древних поселений, существовавших на месте современных Тель Хацора, Мегиддо, Арада и Беэр-Шевы. Позднее руководил рядом раскопок.
Является одним из наиболее активных сторонников точки зрения, что «библейская археология больше не является руководящей парадигмой в археологии, и что археология стала независимой дисциплиной со своими собственными заключениями и наблюдениями, которые, фактически, представляют нам реальность древнего Израиля совершенно не так, как это описано в библейских рассказах».
В 1999 г. статья Херцога в еженедельнике «Гаарец», анонсированная на его обложке, под названием «Деконструкция стен Иерихона», вызвала широкий общественный интерес и споры. В статье Херцог утверждал, что «израильтяне никогда не были в Египте, не странствовали по пустыне, не завоёвывали страну в ходе военной кампании и не стали предком 12 колен израилевых. Вероятно, труднее будет смириться с тем фактом, что единая монархия Давида и Соломона, которую Библия описывает как влиятельную региональную силу, была всего лишь небольшим племенным царством. И неприятным шоком для многих окажется то, что Бог Израиля, Иегова, имел супругу женского пола, и что ранняя израильская религия приняла монотеизм лишь на закате монархии, а вовсе не на горе Синай».
Херцог — соавтор статьи «Был ли обнаружен дворец царя Давида в Иерусалиме?» (Israel Finkelstein, Ze’ev Herzog, Lily Singer-Avitz and David Ussishkin. 2007), где подвергаются критике утверждения Эйлата Мазара, что он обнаружил в Иерусалиме дворец Давида.