Родился в богатой аристократической семье, владевшей большими землями в Моравии и Венгрии. Вырос в фамильном замке Бухлов. С детства владел чешским, словацким и венгерским языками. В 1887 году поступил на государственную службу в штатгальтерстве Моравия. В 1893 году перешел на дипломатическую службу. Работал в посольствах во Франции (секретарь посольства, 1895-99), Великобритании (советник посольства, 1899—1903) и Российской империи (советник посольства, 1903-06). В 1906 году был назначен послом Австро-Венгрии в Российской империи, сменив на этом посту Алоиза фон Эренталя.
В 1911 году был назначен министром иностранных дел Австро-Венгрии, сменив Алоиза фон Эренталя и на этой должности. Важнейшим направлением своей деятельности фон Берхтольд сделал Балканы. В 1912 году Австро-Венгрии удалось вынудить Сербию отказаться от выхода к Адриатическому морю, а Черногорию — от занятия города Шкодер (28 ноября 1912 года была провозглашена независимая Албания). Берхтольд также подталкивал Болгарию к войне со своими бывшими союзниками, что вылилось во Вторую Балканскую войну.
Узнав об убийстве Франца Фердинанда 28 июня 1914 года, фон Берхтольд, как считается, сказал: «Ну, теперь мы сведём счёты с Сербией!». После этого он готовил почву для объявления войны Сербии. Именно Берхтольду приписывается авторство заведомо невыполнимых условий ультиматума, который был предъявлен Сербии. Ранее он разрабатывал дипломатический план подготовки войны с Сербией.
Во время подготовки к войне с Сербией фон Берхтольд не уведомлял Италию, что впоследствии послужило формальным основанием для объявления о нейтралитете. Также он менял свою позицию по вопросу о территориальных уступках Италию в обмен на её участие в войне. В результате, 13 января 1915 года он подал в отставку. В последующие годы до конца существования империи занимал пост оберст-гофмейстера и советника наследника престола (впоследствии императора) Карла I.
В 1918—-1923 гг. в эмиграции в Швейцарии, откуда переехал в своё поместье в Венгрию, где и скончался.