Отец Конрада изначально был графом Цоллерна, став позже первым бургграфом Нюрнберга из дома Гогенцоллернов. После смерти своего отца ок. 1200 года, Конрад принял в управление коренные земли дома Гогенцоллернов и стал графом Цоллерна Конрадом I. Все новоприобретенные владения отца во Франконии достались первоначально младшему брату Конрада — Фридриху. Однако в 1218 году (возможно также в 1214 году) году братья вновь разделили наследство. Конрад получил владения во Франконии, а Фридрих в Швабии. Таким образом произошло знаменательное разделение дома Гогенцоллернов на две ветви: франконскую и швабскую. Швабской ветви не суждено будет сыграть сколь-либо существенную роль в жизни Германии. Представители же франконской ветви в последующие столетия будут динамично усиливать и расширять свои территориальные владения, пока наконец в XVIII веке не объединят под своим управлением большинство германских государств и создадут Германскую империю.
Управляя бургграфством, Конрад значительно усилил свои позиции оказывая поддержку дому Гогенштауфенов в их борьбе между гвельфами и гиббеллинами за королевскую корону. Император Фридрих II намеревался превратить Нюрнберг в надежный опорный пункт и потому в 1219 году даровал городу великую хартию вольностей, сделав его тем самым имперским городом. В то время как бургграф обеспечивал военную защиту города и окружающих его территорий, горожане независимо от него занимались делами внутреннего управления.
Конрад остался верен своему патрону и после низложения Фридриха II. Смерть последнего в 1250 году была тяжелым ударом по дому Гогенцоллернов, так как они утратили значительную поддержку в их противостоянии с германской родовой знатью.
Между 1237 и 1239 годами Конрад был управляющим герцогства Австрия совместно с графами Гегенберг и Андекса, несмотря на то что политические отношения с этими домами у Конрада были достаточно напряженными.