Ульрих Вилле состоял в браке с графиней Кларой фон Бисмарк. Его старший сын также пошёл по военной карьере. Внучка — писательница Аннемари Шварценбах.