В 1499 поступил в Венский университет, в 1506 начал офицерскую карьеру, участвовал в нескольких кампаниях. В 1508 был посвящён в рыцари императором Максимилианом I, с 1515 начал дипломатическую деятельность, в 1532 возведен в баронское звание.
В 1515—1553 Герберштейн участвовал в 69 посольствах в разных странах Европы, а также в Турции. Габсбурги награждали его имениями и титулами.
Дважды посетил Московию: в 1517 выступал посредником в мирных переговорах Москвы и Литвы, а в 1526 — в возобновлении договора 1522. Продолжительность этих визитов (9 месяцев в 1517) позволила ему изучить действительность во многом загадочного тогда для европейцев Московского государства.