1 ноября 1927 года поступил на флот кадетом. 1 октября 1931 года произведен в лейтенанты. Служил на миноносцах G-8, G-11 и «Ягуар».
В апреле 1940 года переведен в подводный флот. 22 октября 1940 года назначен командиром подлодки U-108 (Тип IX-B), на которой совершил 8 походов (проведя в море в общей сложности 361 сутки).
В первом походе потопил 2 судна общим водоизмещением 8078 брт. Во втором походе 10 апреля 1941 года Шольтцу удалось потопить в Датском проливе британский вспомогательный крейсер «Раджпутана» водоизмещением 16 444 брт.
26 декабря 1941 года награжден Рыцарским крестом Железного креста.
Следующие 3 похода Шольтц совершил в Атлантику, где действовал против конвоев союзников. Участвовал в операции «Паукеншлаг» у берегов США, во время которой потопил 5 судов водоизмещением 20 082 брт. Последние два похода совершил в Карибское море.
10 сентября 1942 года получил дубовые листья к Рыцарскому кресту.
14 октября 1942 года назначен командиром 12-й флотилии в Бордо. В подчинение Шольтца находились подлодки дальнего радиуса действия, проводившие операции преимущественно в Южной Атлантике и в Индийском океане. В августе 1944 года большинство лодок флотилии переведено во Фленсбург, а сама флотилия расформирована.
26 августа Шольтц покинул Бордо, но 11 сентября был взят в плен американскими войсками в Байонсе (департамент Луара).
Всего за время военных действий Шольтц потопил 25 судов общим водоизмещением 127 990 брт.
В марте 1947 года освобожден. В 1953—56 годах служил в Федеральной пограничной службе ФРГ, а затем перешел в ВМС. Командовал различными военно-морскими базами (в том числе Кильской, Куксхафенской и Вильгельмсхафенской).
В 1966 году вышел в отставку в звании капитана 1-го ранга.